尚能学否
Ctrl+K
学点算点
LLM Paper
较难无痛的各种PO眼保健操：VPG TRPO PPO DPO GRPO
GPU分布式训练缩写眼保健操：PP、DP、DDP、MP、ZeRO、FSDP
Megatron-LM中GEMM的推导
Paged Attention&Orca Paper笔记与解读
Last update: 2025-10-28
分布式计算的几个原生问题
PP: Pipeline Parallelism & GPipe
TP: Tensor Parallelism via Megatron-lm
DP， DDP: Data Parallelism and Distributed Data Parallelism
ZeRO:
ZeRO的insights
ZeRO的方法与结果
1. ZeRO-DP
2. ZeRO-R
ZeRO的通信量分析
FSDP： Fully Sharded Data Parallel
1. FSDP Unit
2. Hybrid Sharding
🎉NotionNext 4.5已经上线🎉
-- 感谢您的支持 ---
👏欢迎更新体验👏
操作手册
更新记录
联系我们
Article List
学点算点
LLM Paper
较难无痛的各种PO眼保健操：VPG TRPO PPO DPO GRPO
GPU分布式训练缩写眼保健操：PP、DP、DDP、MP、ZeRO、FSDP
Megatron-LM中GEMM的推导
Paged Attention&Orca Paper笔记与解读
Article List
Catalog
尚能学否