/nemo-evaluator-sdk
用來自 18 個以上 harness 的 100 多個基準評估 LLM，支援多後端執行。需要在本機 Docker、Slurm HPC 或雲端平台做可擴展評估時使用。
- 安裝次數
- 971
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill nemo-evaluator安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Evaluates LLMs across 100+ benchmarks from 18+ harnesses (MMLU, HumanEval, GSM8K, safety, VLM) with multi-backend execution. Use when needing scalable evaluation on local Docker, Slurm HPC, or cloud platforms. NVIDIA's enterprise-grade platform with container-first architecture for reproducible benchmarking.