/llama-cpp
在 CPU、Apple Silicon 與消費級 GPU 上執行 LLM 推論，不需 NVIDIA 硬體。用於邊緣部署、M1/M2/M3 Mac、AMD/Intel GPU，或無法使用 CUDA 時。
- 安裝次數
- 998
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill llama-cpp安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Runs LLM inference on CPU, Apple Silicon, and consumer GPUs without NVIDIA hardware. Use for edge deployment, M1/M2/M3 Macs, AMD/Intel GPUs, or when CUDA is unavailable. Supports GGUF quantization (1.5-8 bit) for reduced memory and 4-10× speedup vs PyTorch on CPU.