/eval-harness-first
建立把關每次微調的評估 harness，含黃金集、依失敗模式分類的 grader、judge 校準與基礎模型基準。用於開始微調工作、把 trace 轉成評估集，或用人工標註校準 judge。
- 安裝次數
- 2800
- 專案星數
- 4.2 萬 ★
- 授權
- MIT
- 專案更新
- 2026-11-02
怎麼裝
npx skills add https://github.com/wshobson/agents --skill eval-harness-first安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Build the evaluation harness that gates every fine-tuning run — golden sets, per-failure-mode graders, judge calibration, and base-model baselines. Use when starting a fine-tuning effort, when converting traces into an eval set, or when calibrating a judge against human labels.