/evaluating-code-models
用 HumanEval、MBPP、MultiPL-E 等 15 個以上基準與 pass@k 指標，評估程式碼生成模型。用於基準測試、比較寫程式能力、測試多語言支援。
- 安裝次數
- 981
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Evaluates code generation models across HumanEval, MBPP, MultiPL-E, and 15+ benchmarks with pass@k metrics. Use when benchmarking code models, comparing coding abilities, testing multi-language support, or measuring code generation quality. Industry standard from BigCode Project used by HuggingFace leaderboards.