/preference-optimization
用 DPO、ORPO、KTO 或 SimPO，以偏好資料對齊微調後的模型。用於已有偏好配對或讚／倒讚回饋、選擇偏好最佳化方法，或 DPO 訓練需調整超參數與除錯時。
- 安裝次數
- 2800
- 專案星數
- 4.2 萬 ★
- 授權
- MIT
- 專案更新
- 2026-11-02
怎麼裝
npx skills add https://github.com/wshobson/agents --skill preference-optimization安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Align a fine-tuned model with preference data using DPO, ORPO, KTO, or SimPO. Use when preference pairs or thumbs-up/down feedback exist, when choosing between preference-optimization methods, or when a DPO run needs hyperparameters or debugging.