/awq-quantization
感知 activation 的權重量化，做 4-bit LLM 壓縮。在有限 GPU 記憶體上部署 7B-70B 大模型，或需要比 GPTQ 更快且更保準確度時使用。
- 安裝次數
- 986
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill awq安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Activation-aware weight quantization for 4-bit LLM compression with 3x speedup and minimal accuracy loss. Use when deploying large models (7B-70B) on limited GPU memory, when you need faster inference than GPTQ with better accuracy preservation, or for instruction-tuned and multimodal models. MLSys 2024 Best Paper Award winner.