/tensorrt-llm
用 NVIDIA TensorRT 最佳化 LLM 推論，追求最大吞吐量與最低延遲。在 NVIDIA GPU（A100/H100）上正式部署，或以量化與多 GPU 擴展提供模型服務時使用。
- 安裝次數
- 1100
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill tensorrt-llm安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Optimizes LLM inference with NVIDIA TensorRT for maximum throughput and lowest latency. Use for production deployment on NVIDIA GPUs (A100/H100), when you need 10-100x faster inference than PyTorch, or for serving models with quantization (FP8/INT4), in-flight batching, and multi-GPU scaling.