/sglang
用 RadixAttention 前綴快取做 LLM 的快速結構化生成與服務。用於 JSON/regex 輸出、受限解碼，以及含工具呼叫的 agentic 工作流程。
- 安裝次數
- 983
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill sglang安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Fast structured generation and serving for LLMs with RadixAttention prefix caching. Use for JSON/regex outputs, constrained decoding, agentic workflows with tool calls, or when you need 5× faster inference than vLLM with prefix sharing. Powers 300,000+ GPUs at xAI, AMD, NVIDIA, and LinkedIn.