预训练：从 tokenizer 到训练配方

一次预训练的八步

%%{init: {"flowchart": {"wrappingWidth": 150}}}%%
flowchart TB
    subgraph D["数据侧：决定模型学什么"]
        direction LR
        D1["① 原料<br/>网页"] --> D2["② 过滤<br/>四道筛子"] --> D3["③ 去重<br/>精确 + MinHash"] --> D4["④ tokenizer<br/>训 BPE"]
    end
    subgraph T["模型侧：决定学得多好"]
        direction LR
        T1["⑤ 打包<br/>定长序列"] --> T2["⑥ 选尺寸<br/>迷你 iso-FLOP"] --> T3["⑦ 训练<br/>七条曲线"] --> T4["⑧ 评<br/>bits/byte"]
    end
    D --> T
    T --> M["一个会续写英文、但不是助手的模型 → 交给后训练"]

要点

• 02 展开 ④，03 展开 ⑥，04 展开 ①②③，05 展开 ⑦

01 · 一次预训练是怎么跑起来的（实跑）

四道过滤只剩 16%——Llama 3 的 240T → 15T

去重：只比 2,515 对，不比 6,189 万对

要点

• 精确去重删 169 篇、MinHash（128 个哈希、16 段 × 8）/ LSH 再删 311 篇，剩 38 MB（原始的 8%）
• tokenizer 是训练语料的化石：英文网页上训的 BPE 4096，英文 3.46 字符/token，中文每字 3 个 token

选尺寸：固定算力下模型大小有最优点，且随预算右移

要点

• 迷你实验的 D/N 是 72–155 而不是 20——小数据上的实验偏向小模型，不能直接外推
• 数据只有 10.9M token 时硬约束是数据：定 3 epoch 再选模型（2×128 vs 4×192：4.79 vs 4.63）

训练：盯七条曲线，不只看 loss

要点

• 4 层 × 192 宽，12 分钟：loss 从 ln 4096 = 8.32 → 4.6；attention logit 最大值从 0.4 涨到 78

常见误区

• 评：bits/byte 1.88 对 GPT-2 small 的 1.06——差在参数（48 倍）与数据（1,000 倍）；生成「像英文不像话」，当助手用完全不行

02 · 分词与词表：成本按字符算，不按 token

词表 32K→128K：每字符便宜 15%、KV 少 20%

BPE：合并顺序就是词表

常见误区

• 词表翻倍压缩率只涨 0.4–0.5 字符/token（对数增长），与 lm_head 的线性成本相交于「最优词表」；128K–256K 是这条曲线上的一段

同一段话，四个 tokenizer

要点

• 中文：cl100k 每字 1.46 token，DeepSeek-V3 0.69——差 2.1 倍，差在训练语料不在 V

词表进成本表的四个位置

要点

• 跨 tokenizer 比 loss 要换算 \(\text{bits/byte} = \frac{L}{\ln 2}\cdot\frac{T}{B}\)；同等 bits/byte 下 Llama 3 的 per-token loss 应比 Llama 2 高 24%

常见误区

• 「1 token ≈ 0.75 个英文词」只对英文成立；中文 0.4–1.5 字符/token 视词表而定

03 · Scaling law：从 Chinchilla 到「过训练」

Chinchilla 只算训练算力——算上推理，最优点移向小模型多数据

幂律是什么样：7 个小模型手算

要点

• 双对数坐标下是直线；最优 loss 随算力 \(L_{opt} - E \propto C^{-0.178}\)：算力 ×10 可约 loss ×0.66，减半要 ×49
• 拟合最常见的失败：cosine 中途的 loss 不可比、tokenizer 不一致、超参没随尺寸调、外推太远

为什么 Llama-3 8B 训 15T 是对的

要点

• 数据不够就重复：\(D' = U + UR^*(1 - e^{-R/R^*})\)，4 epoch 值 93%、16 epoch 值 66%，上限约 16 倍
• 超参也要 scaling：\(\eta_{opt} \propto C^{-0.125}\)、\(B_{opt} \propto C^{0.33}\)——算力 ×10，lr −25%、batch ×2.1
• Llama-3 405B：\(3.8 \times 10^{25}\) FLOPs = 2670 万 H100 小时 @ 40% MFU（实际 3084 万）

04 · 数据工程：一条漏斗，每级刻度都被消融过

240T → 15T → 1.3–5.4T；重复是控制分布不是消灭

四道筛子，每道配一个被删的真实页面

要点

• MinHash 112 个哈希估 Jaccard 到 ±0.04；LSH 14 × 8 阈值 0.72：J = 0.6 时 21% 成候选、0.8 时 92%
• 模型打分的账：用 8B 给 15T 打分 \(2.4 \times 10^{23}\) FLOPs 是训练的 1/3——所以标注只花约 \(7 \times 10^{19}\)

配比：百分比本质是 epoch 数

要点

• 一次配比消融 1.8B × 350B token ≈ 2700 H100 小时，差距常达 3–5 分；预算预留 1–3% 算力做消融
• 领域数据靠分类器迭代召回：DeepSeekMath 四轮 14.7B → 120B

常见误区

• 配比换算 \(w_i D / U_i\)：25% × 15T ÷ 约 0.5T 的独立数学数据 ≈ 7.5 epoch——「15T」不是 15T 条不同的文本

05 · 训练配方与稳定性：每个数字都有来历

峰值 lr 随宽度降：7B 3e-4 → 405B 8e-5

配方表：MacBook 与 405B 是同一张表

要点

• weight decay 时间尺度 \(\tau = 1/(\eta\lambda)\)：7B 33K 步（7%）、405B 125K 步（13%）
• 调度实验：WSD 1.464 < 常数 1.536 < cosine 1.578

loss spike 拆成三个机制，各有开关

实训里真实发生的一次 spike

要点

• 大模型的处理：回退 100 步、跳 200–500 个 batch；405B 一次 8 千–1.6 万 GPU 小时
• 硬件故障每 3 小时一次：checkpoint 5.7 TB，间隔 \(T_{opt} = \sqrt{2\delta\cdot\text{MTBF}}\)，异步保存让间隔短到 4–5 分钟、有效时间 > 90%

常见误区

• 「spike 是脏数据」——三个机制里两个是模型内部的数值问题