AI-Research-SKILLs
開源的 AI 研究與工程 skill 庫。可用於 Claude Code、Codex、Gemini 等 agent。由 Orchestra Research 維護。
★ 1.4 萬98 個 skill授權 MIT最近更新 2026-10-11
到 GitHub 看專案/ml-paper-writing撰寫可出版的 ML/AI 論文，投稿 NeurIPS、ICML、ICLR、ACL、AAAI、COLM。用於起草論文、組織論述、驗證引用或準備定稿。系統類會議請改用 systems-paper-writing。寫東西給人看2400/brainstorming-research-ideas引導研究者用結構化發想框架，找出高影響力的研究方向。探索新問題空間、在專案間轉向，或為既有工作尋找新角度時使用。想清楚要做什麼1300/academic-plotting從研究內容生成 ML 論文的出版品質圖表。給論文章節時，透過 Gemini 生成架構圖；給實驗結果時，自動選擇圖表類型並生成資料圖。做檔案1200/creative-thinking-for-research把認知科學的創意思考框架用於 CS 與 AI 研究發想。以組合式創意、類比推理、限制操弄等策略，尋找新穎的研究方向。想清楚要做什麼1200/faissFacebook 的高效率稠密向量相似度搜尋與分群函式庫。支援數十億向量、GPU 加速與多種索引類型。用於快速 k-NN 搜尋與大規模向量檢索。寫程式1100/mlflow用 MLflow 追蹤 ML 實驗、管理含版本的 model registry、部署模型到正式環境並重現實驗。MLflow 是不限框架的 ML 生命週期平台。寫程式1100/serving-llms-vllm用 vLLM 的 PagedAttention 與 continuous batching，以高吞吐量提供 LLM 服務。部署正式 LLM API、最佳化推論延遲，或在有限 GPU 記憶體下提供模型服務時使用。寫程式1100/stable-diffusion-image-generation透過 HuggingFace Diffusers 使用 Stable Diffusion 模型做文字生圖。用於由文字提示生成影像、影像轉影像、inpainting，或建構自訂擴散 pipeline。做檔案1100/tensorrt-llm用 NVIDIA TensorRT 最佳化 LLM 推論，追求最大吞吐量與最低延遲。在 NVIDIA GPU（A100/H100）上正式部署，或以量化與多 GPU 擴展提供模型服務時使用。寫程式1100/audiocraft-audio-generation音訊生成的 PyTorch 函式庫，含文字轉音樂（MusicGen）與文字轉音效（AudioGen）。用於由文字描述生成音樂、建立音效，或做旋律條件式音樂生成。做檔案1000/autoresearch用雙迴圈架構協調端到端的自主 AI 研究專案。內迴圈快速迭代實驗，外迴圈整合結果並調整研究方向。找資料與看影片1000/crewai-multi-agent讓 AI 自主協作的多 agent 協調框架。建立分工專精的 agent 團隊處理複雜任務，或需要有記憶的角色式協作與循序、階層式執行時使用。寫程式1000/evaluating-llms-harness用 60 個以上學術基準（MMLU、HumanEval、GSM8K 等）評估 LLM。用於基準測試模型品質、比較模型、報告學術結果或追蹤訓練進度。檢查與出貨1000/gguf-quantizationGGUF 格式與 llama.cpp 量化，用於高效率的 CPU/GPU 推論。在消費級硬體或 Apple Silicon 上部署，或需要不靠 GPU 的 2-8 bit 量化時使用。寫程式1000/huggingface-accelerate最簡單的分散式訓練 API。四行程式就能讓任何 PyTorch 腳本支援分散式。統一介面涵蓋 DeepSpeed、FSDP、Megatron、DDP。寫程式1000/knowledge-distillation用知識蒸餾把大型語言模型從 teacher 壓縮到 student。部署保有效能的較小模型、把 GPT-4 能力轉移到開源模型，或降低推論成本時使用。寫程式1000/peft-fine-tuning用 LoRA、QLoRA 與 25 種以上方法做參數高效微調。GPU 記憶體有限、微調 7B-70B 大模型，或需要多 adapter 服務時使用。寫程式1000/prompt-guardMeta 的 86M prompt injection 與越獄偵測模型。為 LLM 應用過濾惡意 prompt 與第三方資料。可用 HuggingFace 部署，或批次處理以保護 RAG。安全與環境設定1000/ray-data為 ML 工作負載做可擴展的資料處理。支援 CPU/GPU 串流執行。用於批次推論、資料前處理、多模態資料載入或分散式 ETL。寫程式1000/ray-train跨叢集的分散式訓練協調。把 PyTorch、TensorFlow、HuggingFace 從筆電擴展到上千個節點。內建 Ray Tune 超參數調校、容錯與彈性擴展。寫程式1000/segment-anything-model具零樣本遷移的影像分割基礎模型。以點、框或遮罩為提示分割影像中任何物件，或自動生成影像中所有物件的遮罩。寫程式1000/unsloth用 Unsloth 快速微調的專家指引：訓練快 2-5 倍、記憶體少 50-80%、LoRA/QLoRA 最佳化。寫程式1000/weights-and-biases用 W&B 自動記錄並追蹤 ML 實驗、即時視覺化訓練、用 sweep 最佳化超參數，並管理 model registry。W&B 是協作式 MLOps 平台。寫程式1000/fine-tuning-with-trl用 TRL 以強化學習微調 LLM：SFT 指令微調、DPO 偏好對齊、PPO/GRPO 獎勵最佳化，以及 reward model 訓練。需要 RLHF 或從人類回饋訓練時使用。寫程式999/llama-cpp在 CPU、Apple Silicon 與消費級 GPU 上執行 LLM 推論，不需 NVIDIA 硬體。用於邊緣部署、M1/M2/M3 Mac、AMD/Intel GPU，或無法使用 CUDA 時。寫程式998/qdrant-vector-search為 RAG 與語意搜尋設計的高效能向量相似度搜尋引擎。建構需要快速近鄰搜尋、帶篩選的混合搜尋或可擴展向量儲存的正式 RAG 系統時使用。寫程式997/tensorboard用 TensorBoard 視覺化訓練指標、用直方圖除錯模型、比較實驗、視覺化模型圖並分析效能。TensorBoard 是 Google 的 ML 視覺化工具組。寫程式997/whisperOpenAI 的通用語音辨識模型。支援 99 種語言、轉錄、翻譯成英文與語言辨識。用於語音轉文字、Podcast 轉錄或多語言音訊處理。找資料與看影片996/deepspeed用 DeepSpeed 做分散式訓練的專家指引：ZeRO 最佳化階段、pipeline 平行、FP16/BF16/FP8、1-bit Adam、稀疏 attention。寫程式995/optimizing-attention-flash用 Flash Attention 最佳化 transformer attention，加速 2-4 倍、記憶體減少 10-20 倍。處理長序列（超過 512 token）或遇到 attention 的 GPU 記憶體問題時使用。寫程式995/quantizing-models-bitsandbytes把 LLM 量化成 8-bit 或 4-bit，減少 50-75% 記憶體，準確度損失極小。GPU 記憶體有限或想放入更大模型時使用。支援 QLoRA 訓練。寫程式994/grpo-rl-training用 TRL 做 GRPO/RL 微調的專家指引，用於推理與特定任務的模型訓練。寫程式993/pytorch-lightning高階 PyTorch 框架，含 Trainer 類別、自動分散式訓練（DDP/FSDP/DeepSpeed）、callback 系統與極少樣板程式。想要乾淨的訓練迴圈時使用。寫程式992/verl-rl-training用 verl（Volcano Engine RL）以強化學習訓練 LLM 的指引。在大規模 LLM 後訓練中實作 RLHF、GRPO、PPO 等演算法時使用。寫程式992/dspy用宣告式程式設計建構複雜 AI 系統、自動最佳化 prompt，並建立模組化 RAG 系統與 agent。DSPy 是 Stanford NLP 的 LM 程式設計框架。寫程式991/hqq-quantization不需校準資料的 Half-Quadratic Quantization。以 4/3/2-bit 量化模型而不用校準資料集，或要搭配 vLLM 或 HuggingFace Transformers 部署時使用。寫程式990/langchain建構 LLM 應用的框架，含 agent、chain 與 RAG。支援多家供應商、500 多種整合、ReAct agent、工具呼叫、記憶管理與向量庫檢索。用於建構聊天機器人與問答系統。寫程式990/axolotl用 Axolotl 微調 LLM 的專家指引：YAML 設定、100 多種模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模態支援。寫程式989/sentence-transformers先進的句子、文字與影像 embedding 框架。提供 5000 多個預訓練模型，用於語意相似度、分群與檢索。用於為 RAG、語意搜尋或相似度任務產生 embedding。寫程式989/huggingface-tokenizers為研究與正式環境最佳化的快速 tokenizer，以 Rust 實作。支援 BPE、WordPiece、Unigram，可訓練自訂詞表、追蹤對齊、處理 padding 與截斷。寫程式988/long-context用 RoPE、YaRN、ALiBi 與位置內插技術延長 transformer 模型的 context window。處理長文件，或把預訓練模型延伸到原本的 context 上限之外時使用。寫程式987/pytorch-fsdp2在訓練腳本加入 PyTorch FSDP2（fully_shard），含正確的初始化、分片、混合精度與 offload 設定、分散式 checkpoint。模型超過單 GPU 記憶體時使用。寫程式987/awq-quantization感知 activation 的權重量化，做 4-bit LLM 壓縮。在有限 GPU 記憶體上部署 7B-70B 大模型，或需要比 GPTQ 更快且更保準確度時使用。寫程式986/clipOpenAI 連結視覺與語言的模型。支援零樣本影像分類、圖文比對與跨模態檢索。用於影像搜尋、內容審核，或不需微調的視覺語言任務。寫程式986/nanogpt約 300 行的 GPT 教學實作，可在 OpenWebText 上重現 GPT-2 (124M)。程式簡潔，適合從頭學習 transformer。作者為 Andrej Karpathy。寫程式985/instructor用 Pydantic 驗證從 LLM 回應擷取結構化資料、自動重試失敗的擷取、以型別安全解析複雜 JSON，並串流部分結果。寫程式984/moe-training用 DeepSpeed 或 HuggingFace 訓練 Mixture of Experts (MoE) 模型。在有限算力下訓練大規模模型，或實作 Mixtral 8x7B、DeepSeek-V3 這類稀疏架構時使用。寫程式984/chroma為 AI 應用設計的開源 embedding 資料庫。儲存 embedding 與 metadata，做向量與全文搜尋，並依 metadata 篩選。用於語意搜尋、RAG 應用或文件檢索。寫程式983/llama-factory用 LLaMA-Factory 微調 LLM 的專家指引：WebUI 免寫程式、100 多種模型、QLoRA 量化、多模態支援。寫程式983/sglang用 RadixAttention 前綴快取做 LLM 的快速結構化生成與服務。用於 JSON/regex 輸出、受限解碼，以及含工具呼叫的 agentic 工作流程。寫程式983/speculative-decoding用 speculative decoding、Medusa 多頭與 lookahead decoding 加速 LLM 推論。最佳化推論速度、降低即時應用的延遲，或在有限算力下部署模型時使用。寫程式983/transformer-lens-interpretability用 TransformerLens 做機制可解釋性研究，透過 HookPoint 與 activation 快取檢視並操作 transformer 內部。寫程式983/distributed-llm-pretraining-torchtitan用 torchtitan 做 PyTorch 原生的分散式 LLM 預訓練，採 4D 平行（FSDP2、TP、PP、CP）。在 8 到 512 張以上 GPU 預訓練 Llama 3.1、DeepSeek V3 或自訂模型時使用。寫程式982/modal-serverless-gpu執行 ML 工作負載的 serverless GPU 雲端平台。需要免管理基礎設施的隨選 GPU、把模型部署成 API，或執行可自動擴展的批次工作時使用。安全與環境設定982/nemo-curator為 LLM 訓練做 GPU 加速的資料整理。支援文字、影像、影片、音訊。功能含模糊去重、品質過濾、語意去重、PII 遮蔽、NSFW 偵測。寫程式982/openrlhf-training以 Ray 與 vLLM 加速的高效能 RLHF 框架。用於大型模型（7B-70B 以上）的 PPO、GRPO、RLOO、DPO 訓練。寫程式982/evaluating-code-models用 HumanEval、MBPP、MultiPL-E 等 15 個以上基準與 pass@k 指標，評估程式碼生成模型。用於基準測試、比較寫程式能力、測試多語言支援。檢查與出貨981/model-merging用 mergekit 合併多個微調模型，不需重新訓練就整合能力。混合領域專長（數學、程式、聊天）建立專用模型，或快速實驗模型變體時使用。寫程式981/sentencepiece與語言無關的 tokenizer，把文字視為原始 Unicode。支援 BPE 與 Unigram，可直接用原始文字訓練。需要多語言或 CJK 支援時使用。寫程式981/outlines在生成時確保 JSON/XML/程式碼結構有效、以 Pydantic 模型取得型別安全輸出、支援本機模型，並最大化推論速度。Outlines 是 dottxt.ai 的結構化生成函式庫。寫程式980/pyvene-interventions用 pyvene 的宣告式介入框架，對 PyTorch 模型做因果介入。用於因果追蹤、activation patching、interchange intervention training，或檢驗模型行為的因果假設。寫程式980/gptqLLM 的訓練後 4-bit 量化，準確度損失極小。在消費級 GPU 上部署 70B、405B 大模型，或需要縮減 4 倍記憶體時使用。寫程式979/llamaindex建構 RAG 型 LLM 應用的資料框架，專精於文件匯入（300 多個連接器）、索引與查詢。用於文件問答、聊天機器人、知識檢索或 RAG pipeline。寫程式979/slime-rl-training用 slime（Megatron+SGLang 框架）做 LLM 的 RL 後訓練指引。用於訓練 GLM 模型、實作自訂資料生成流程，或需要與 Megatron-LM 緊密整合時使用。寫程式979/training-llms-megatron用 NVIDIA Megatron-Core 與進階平行策略，訓練 2B-462B 參數的大型語言模型。訓練超過 1B 參數的模型或需要最高 GPU 效率時使用。寫程式979/simpo-training用於 LLM 對齊的 Simple Preference Optimization，是不需參考模型的 DPO 替代方案。想比 DPO/PPO 更簡單、更快做偏好對齊時使用。寫程式978/sparse-autoencoder-training用 SAELens 訓練並分析 Sparse Autoencoder (SAE)，把神經網路 activation 分解成可解釋的特徵。寫程式978/guidance用 regex 與文法控制 LLM 輸出、確保產生有效的 JSON/XML/程式碼，並建構多步驟工作流程。Guidance 是 Microsoft Research 的受限生成框架。寫程式977/mamba-architecture狀態空間模型，複雜度為 O(n)，Transformer 為 O(n²)。推論快 5 倍，支援百萬 token 序列，不需 KV cache。含 Mamba-1 與 Mamba-2。寫程式977/implementing-llms-litgpt用 Lightning AI 的 LitGPT 實作並訓練 LLM，內含 20 多種預訓練架構。需要簡潔的模型實作、學習架構，或用 LoRA/QLoRA 做正式微調時使用。寫程式976/model-pruning用 Wanda 與 SparseGPT 等剪枝技術縮小 LLM 並加速推論。不需重新訓練就壓縮模型，或在硬體加速器上加快推論時使用。寫程式976/llamaguardMeta 的 7-8B 專用審核模型，用於過濾 LLM 的輸入與輸出，涵蓋 6 個安全類別。可用 vLLM、HuggingFace、Sagemaker 部署，並整合 NeMo Guardrails。安全與環境設定974/miles-rl-training用 miles（slime 的正式環境分支）做企業級 RL 訓練的指引。訓練採 FP8/INT4 的大型 MoE 模型、需要訓練與推論對齊，或需要推測式 RL 時使用。寫程式974/torchforge-rl-training用 torchforge 做 PyTorch 原生的 agentic RL 指引。torchforge 是 Meta 把基礎設施與演算法分離的函式庫。需要簡潔的 RL 抽象或容易實驗演算法時使用。寫程式974/nemo-guardrailsNVIDIA 的 LLM 應用執行期安全框架。功能含越獄偵測、輸入輸出驗證、事實查核、幻覺偵測、PII 過濾、毒性偵測。以 Colang 2.0 DSL 設定可程式化護欄。安全與環境設定973/nnsight-remote-interpretability用 nnsight 解讀並操作神經網路內部，可選用 NDIF 遠端執行。沒有本機 GPU 卻要對 70B 以上大模型做可解釋性實驗時使用。寫程式973/autogpt-agents用於建構與部署持續運作 agent 的自主 AI agent 平台。建立視覺化工作流程 agent、部署常駐自主 agent，或建構複雜的多步驟 AI 自動化系統時使用。寫程式972/blip-2-vision-language連接凍結影像編碼器與 LLM 的視覺語言預訓練框架。用於影像說明、視覺問答、圖文檢索，或多模態對話。寫程式972/langsmith-observability用於追蹤、評估與監控的 LLM 可觀測性平台。除錯 LLM 應用、依資料集評估模型輸出，或監控正式系統時使用。檢查與出貨972/rwkv-architectureRNN 與 Transformer 的混合架構，推論為 O(n)。線性時間、無限 context、不需 KV cache。訓練像 GPT（平行），推論像 RNN（序列）。寫程式972/skypilot-multi-cloud-orchestration為 ML 工作負載做多雲協調，並自動最佳化成本。跨多個雲端執行訓練或批次工作、使用可自動復原的 spot 執行個體時使用。安全與環境設定972/constitutional-aiAnthropic 透過自我改進訓練無害 AI 的方法，分兩階段：自我批評與修正的監督式學習，再做 RLAIF。用於安全對齊，不靠人工標註減少有害輸出。安全與環境設定971/nemo-evaluator-sdk用來自 18 個以上 harness 的 100 多個基準評估 LLM，支援多後端執行。需要在本機 Docker、Slurm HPC 或雲端平台做可擴展評估時使用。檢查與出貨971/pinecone為正式 AI 應用設計的託管向量資料庫，自動擴展，支援混合搜尋、metadata 篩選與 namespace。用於正式環境 RAG、推薦系統或大規模語意搜尋。寫程式971/llavaLarge Language and Vision Assistant。支援視覺指令微調與影像對話，結合 CLIP 視覺編碼器與 Vicuna/LLaMA 語言模型。用於視覺語言聊天機器人。寫程式969/phoenix-observability開源 AI 可觀測性平台，用於 LLM 追蹤、評估與監控。用詳細 trace 除錯 LLM 應用、對資料集跑評估，或即時監控正式 AI 系統時使用。檢查與出貨969/lambda-labs-gpu-cloud預留與隨選的 GPU 雲端執行個體，用於 ML 訓練與推論。需要可用 SSH 存取的專用 GPU、持久檔案系統，或高效能多節點叢集時使用。安全與環境設定967/ml-training-recipes經實戰驗證的 PyTorch 訓練配方，涵蓋 LLM、視覺、擴散、醫學影像、蛋白質與藥物探索、基因體。含訓練迴圈、optimizer 選擇、學習率排程、混合精度與除錯。寫程式947/presenting-conference-talks由已編譯的論文生成研討會簡報（Beamer LaTeX PDF 與可編輯 PPTX），含講者備忘稿與講稿。用於準備口頭報告、spotlight 或受邀演講。做檔案947/systems-paper-writing撰寫投稿 OSDI、SOSP、ASPLOS、NSDI、EuroSys 的系統論文的完整指南。提供段落層級的結構藍圖、寫作模式、各會議檢查清單、審稿指引、LaTeX 範本與截止日。寫東西給人看941/experiment-tracking-swanlab提供用 SwanLab 追蹤實驗的指引。需要開源的執行追蹤、本機或自架儀表板，以及輕量媒體記錄時使用。寫程式924/fine-tuning-openvla-oft微調並評估 OpenVLA-OFT 與 OpenVLA-OFT+ 策略，用於機器人動作生成。用於重現 OpenVLA-OFT 論文結果，或訓練自訂的 VLA 動作頭。寫程式890/fine-tuning-serving-openpi用 JAX 或 PyTorch 後端微調並服務 Physical Intelligence 的 OpenPI 模型（pi0、pi0-fast、pi0.5），做機器人策略推論。用於把 pi0 模型調適到自訂資料集，或把 JAX checkpoint 轉成 PyTorch。寫程式890/evaluating-cosmos-policy在 LIBERO 與 RoboCasa 模擬環境評估 NVIDIA Cosmos Policy。用於設定 cosmos-policy 做機器人操作評估、以 EGL 渲染跑無頭 GPU 評估，或分析推論延遲。檢查與出貨886/evolving-ai-agents用 LLM 驅動的演化演算法，自動演化並最佳化各領域的 AI agent。建構自我改進的 agent、針對基準最佳化 agent 的 prompt 與 skill 時使用。寫程式862/ara-rigor-reviewer對 Agent-Native Research Artifact 做 ARA Seal Level 2 語意認識論審查，依六個面向評分，產出建設性且依嚴重度排序的報告。檢查與出貨836/ara-compiler把任何研究輸入（PDF 論文、GitHub repo、實驗日誌、程式碼目錄或原始筆記）編譯成完整的 Agent-Native Research Artifact (ARA)。寫東西給人看817/ara-research-manager在任務結束時記錄研究出處。掃描 coding 或研究 session 的對話歷史，擷取決定、實驗、死路、主張與轉向，寫入 ara/ 目錄並標註來源是使用者或 AI。記憶、交接與學習815沒有符合的 skill