/evaluating-llms-harness
用 60 個以上學術基準（MMLU、HumanEval、GSM8K 等）評估 LLM。用於基準測試模型品質、比較模型、報告學術結果或追蹤訓練進度。
- 安裝次數
- 1000
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill lm-evaluation-harness安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.