05 · 分布式 checkpoint：磁盘上是「全局张量的一组分片」
结论：不是某个 rank 的内存映像，所以能零通信重分片；落盘每参数 14 或 12 字节、与并行配置无关；异步保存把 δ 从写入时间变成 staging 时间——不是优化是必需。
[
\tau_{opt} = \sqrt{2\,\delta\,M},\qquad \text{最小浪费} = \sqrt{2\delta / M}
]
| M ≈ 3.1 h（16K 卡的 MTBF） |
δ |
最小浪费 |
| 同步写单文件 |
10 min |
33% |
| 分片异步写 |
2 s |
1.9% |
- 405B 5.7 TB：单文件 19–95 分钟，分片写每卡 350 MB 秒级；staging 内存 = 每卡唯一字节 × (1–2)
- 「checkpoint 大小随 TP / PP / DP 变」——去掉 DP 复制后的唯一字节不变，这正是能重分片的前提
COMMENTS
评论存放在 GitHub Discussions， 用 GitHub 账号登录即可发表，支持 Markdown。 想针对正文某句话说？选中那段文字，点浮出的「评论」即可划线评论；觉得哪里写错了，发表时勾上「同时提交 Issue」。 有人回复你时 GitHub 会按你的通知设置发邮件，不用守在这里。