/gptq
LLM 的訓練後 4-bit 量化，準確度損失極小。在消費級 GPU 上部署 70B、405B 大模型，或需要縮減 4 倍記憶體時使用。
- 安裝次數
- 979
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill gptq安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Post-training 4-bit quantization for LLMs with minimal accuracy loss. Use for deploying large models (70B, 405B) on consumer GPUs, when you need 4× memory reduction with <2% perplexity degradation, or for faster inference (3-4× speedup) vs FP16. Integrates with transformers and PEFT for QLoRA fine-tuning.