/long-context
用 RoPE、YaRN、ALiBi 與位置內插技術延長 transformer 模型的 context window。處理長文件，或把預訓練模型延伸到原本的 context 上限之外時使用。
- 安裝次數
- 987
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill long-context安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Extend context windows of transformer models using RoPE, YaRN, ALiBi, and position interpolation techniques. Use when processing long documents (32k-128k+ tokens), extending pre-trained models beyond original context limits, or implementing efficient positional encodings. Covers rotary embeddings, attention biases, interpolation methods, and extrapolation strategies for LLMs.