/serving-llms-vllm
用 vLLM 的 PagedAttention 與 continuous batching，以高吞吐量提供 LLM 服務。部署正式 LLM API、最佳化推論延遲，或在有限 GPU 記憶體下提供模型服務時使用。
- 安裝次數
- 1100
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill vllm安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Serves LLMs with high throughput using vLLM's PagedAttention and continuous batching. Use when deploying production LLM APIs, optimizing inference latency/throughput, or serving models with limited GPU memory. Supports OpenAI-compatible endpoints, quantization (GPTQ/AWQ/FP8), and tensor parallelism.