/distributed-llm-pretraining-torchtitan
用 torchtitan 做 PyTorch 原生的分散式 LLM 預訓練，採 4D 平行（FSDP2、TP、PP、CP）。在 8 到 512 張以上 GPU 預訓練 Llama 3.1、DeepSeek V3 或自訂模型時使用。
- 安裝次數
- 982
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill torchtitan安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.