/pytorch-fsdp2
在訓練腳本加入 PyTorch FSDP2（fully_shard），含正確的初始化、分片、混合精度與 offload 設定、分散式 checkpoint。模型超過單 GPU 記憶體時使用。
- 安裝次數
- 987
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill pytorch-fsdp2安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Adds PyTorch FSDP2 (fully_shard) to training scripts with correct init, sharding, mixed precision/offload config, and distributed checkpointing. Use when models exceed single-GPU memory or when you need DTensor-based sharding with DeviceMesh.