/quantizing-models-bitsandbytes
把 LLM 量化成 8-bit 或 4-bit，減少 50-75% 記憶體，準確度損失極小。GPU 記憶體有限或想放入更大模型時使用。支援 QLoRA 訓練。
- 安裝次數
- 994
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Quantizes LLMs to 8-bit or 4-bit for 50-75% memory reduction with minimal accuracy loss. Use when GPU memory is limited, need to fit larger models, or want faster inference. Supports INT8, NF4, FP4 formats, QLoRA training, and 8-bit optimizers. Works with HuggingFace Transformers.