LLM 时代的经典机器学习：只讲它在哪里重现

系列精华 · 十篇正文每篇一页，按 ↓ 看机制与真实案例

arganzheng · 2026-03-09

这个系列回答一个问题

看到 LLM 上的一个问题，能不能叫出它的经典名字——叫出名字，经典解法就在手边。

LLM 上的问题	它的经典名字
benchmark 污染	测试集泄漏
reward hacking	在一个过拟合的评估器上做优化
weight decay	Ridge
RAG	KNN
attention	核回归（1964）
judge 的长度偏好	系统误差
「20 个 benchmark 领先 12 个」	多重比较

十篇的依赖：从「什么是学习」出发

%%{init: {"flowchart": {"wrappingWidth": 240}}}%%
flowchart TB
    L1["01 什么是学习"] --> L2["02 线性回归"]
    L2 --> L3["03 逻辑回归·奖励模型"]
    L3 --> L4["04 贝叶斯·KNN·决策树"]
    L3 --> L5["05 SVM·核方法"]
    L4 --> L6["06 集成"]
    L4 --> L7["07 聚类"]
    L7 --> L8["08 降维"]
    L8 --> L9["09 去重"]
    L6 & L5 --> L10["10 评估"]

01 · 什么是学习：划分、泛化、偏差-方差

测试集只能看一次；过拟合 = 容量相对数据太大；reward hacking 是优化过拟合的评估器

30 个点拟合正弦：1 次欠拟合、4 次刚好、15 次穿过每个训练点却在点之间乱跳

误差 = 偏差² + 方差 + 噪声

20 批训练数据各拟合一条曲线：1 次抱成一束却整体偏离（偏差大）、15 次各奔东西（方差大）

学习曲线：100 个点之后 15 次与 4 次一样好——数据多了容量就不是问题
在测试集上挑最好的：中位乐观 0.015，均值 0.255（长尾）——这就是「刷榜」

案例：加州房价，随机划分 vs 按地区划分

左：测试点混在训练点里；右：整块地区留出

只用经纬度的 KNN：随机划分 RMSE 5.2 万，按地区划分 8.6 万——分数是抄邻居抄出来的
划分方式要模仿上线后的数据；近重复随机切 CV 0.060 vs 真实 0.10
超参数只碰开发集：一次划分选次数 3–12 跳；用到 \(y\) 的特征选择把 CV 从 0.32 抬到 0.53

02 · 线性回归：最小二乘、梯度下降与 Ridge / Lasso

正规方程把 \(y\) 投影到特征平面；Ridge 就是 weight decay

损失的等高线是一组倾斜的椭圆：学习率小时先冲到沟底再慢慢爬，大了在沟壁上来回弹

L1 为什么产生稀疏、L2 为什么只是缩小

L1 的约束区是菱形，等高线先碰到角；L2 是圆，碰到的是一般位置

Lasso：50 个特征里 45 个无用的系数恰好归零；Ridge 只缩向零从不到零
\(w \leftarrow (1 - 2\eta\lambda)w - \eta g\) 与 Ridge 闭式解差 \(10^{-13}\)——weight decay 不是深度学习特有的技巧

案例：加州房价，猜均值 → Ridge / Lasso 十步

每一步的测试 RMSE：特征工程一步降一点，三次项无正则爆掉，Ridge / Lasso 拉回，树模型另一个档

三次项无正则：训练 55k / 测试 102k——过拟合的形状；Ridge 拉回 60k；Lasso 368 列砍掉 322 列
第 6 步 cond(X) \(10^{16}\)：换台机器测试 RMSE 变 225k——实现不显式求逆、lstsq 才稳；Lasso 的零来自软阈值 \(\alpha \ge \lvert\rho\rvert\)

03 · 逻辑回归与奖励模型：每个分类头的原型

奖励模型 = 特征差上的逻辑回归；准确率上限是标注一致性

sigmoid 与交叉熵：z = 0 处 0.5；预测越错 loss 越大且梯度不消失

奖励模型准确率为什么到 80% 就上不去

标注噪声越大上限越低；学到的模型每一档都贴着上限

3000 对偏好：准确率 91.5% vs 上限 91.3%，\(w\) 与真值相关 0.999
噪声 4.0 时准确率只有 71%，但 \(w\) 相关仍 0.995——贴着标签正确率就是学会了，不是训得不够久

案例：垃圾短信，TF-IDF + 逻辑回归

精确率 100%、召回 87%（阈值 0.5）；阈值 0.2 时两者都到 0.92——阈值是业务参数
权重最大的词就是可解释性：推向 spam 的是 txt、call、free、claim、150p；推向 ham 的是 me、my、that
准确率、校准、标注一致性是三个数：logit 乘 \(T\) 准确率不变、ECE 0.015 → 0.135；案例校准表 ECE 0.018
代码：classical-ml/case_03_sms_spam.py

04 · 三个基础分类器：朴素贝叶斯、KNN 与决策树

KNN 就是检索、靠好 embedding；树不修停会长到全对——剪枝是正则化

同一份月牙数据上七种分类器的边界：直线、折线、横竖线段、平滑曲线

维度灾难：KNN 为什么不能直接用在高维上

维度从 1 到 1000：最近距离 ÷ 最远距离从 0 逼近 1

1000 维时最近与最远只差 10%——「最近邻」失去意义
先学出低维 embedding 再做近邻，这就是检索（RAG）的前提；k = 1 训练 100% 测试 0.83

案例：泰坦尼克，一棵深度 3 的树

根节点问是否女性；男性一侧问年龄 ≤ 9.5，女性一侧问舱等

深度 3 最好 83%；深度不限训练 1.000 测试 0.826
boat（救生艇号）列能到 97%——是泄漏，上船时不知道
代价复杂度剪枝：225 叶 → 5 叶；多项式 NB 101 个词直接连乘下溢为 0，log 域照常比大小

05 · SVM 与核方法：从最大间隔到 attention

只有支持向量定边界；核 = 不升维算内积；核回归三步 = attention 三步

三条都能分开的直线里 SVM 选间隔最大的；两个圈出的点是支持向量

核回归 = attention

30 个键值对与三条核回归曲线：γ 太小过平、合适贴着正弦、太大逐点跳动

相似度 → 归一化 → 加权值，1964 年的 Nadaraya–Watson；与点积 attention 公式对到 \(10^{-15}\)
新的是 \(Q, K, V\) 学出来；核 SVM 64000 样本 7.6 s vs 线性 0.01 s——核方法的代价是 \(n^2\)

案例：MNIST，重跑 LeCun 1998 年那张表

五个模型的测试错误率，虚线是 LeNet-5 的 0.95%

线性 7.4% → KNN 2.95% → RBF-SVM 1.43%（60k 全量、16,122 个支持向量）——排序与 1998 年一致
10k → 60k 训练时间 40 倍；训练集 2k → 20k 支持向量 1523 → 8071、预测 4.8 s → 22.3 s——核化省的是 \(\phi\) 的维数，付的是 \(n^2\)

06 · 集成：随机森林与梯度提升

bagging 只降方差；梯度提升 = 函数空间的梯度下降

梯度提升的前三棵树：预测从一条水平线变成一个、两个、三个台阶，贴近数据的起伏

bagging 抹掉孤岛，但偏差不变

一棵树的边界有孤岛；100 棵 bagging 的孤岛被抹掉；准确率随棵数上升

self-consistency、多个 judge 平均——都是 bagging，修不了系统性的错
数据质量打分：8B 给 15T token 打分 = 训练算力的 33.3%，线性模型 0.004%——大模型标几十万段、小分类器过全部

案例：Adult 收入预测

一棵树 AUC 0.772 → 随机森林 0.917 → 梯度提升 0.930：表格数据上 GBDT > RF > 单树
学习率 × 轮数：lr 0.3 第 80 轮到顶后下滑，lr 0.1 在 222 轮，lr 0.03 到 400 轮还在缓升
permutation 重要性用来审计：资本收益、年龄、教育年限居前，race、国籍、性别几乎为零
早停轮数来自验证集（测试集上挑是乐观偏差）；森林 50 → 2000 棵 AUC 0.9155 → 0.9169、模型 21 MB → 822 MB

07 · 聚类：K-Means、DBSCAN 与「这批语料里有什么」

K-Means 收敛到局部最优；聚类是探索不是预测，不需要「正确」

K-Means 的迭代：初始化两个中心落在同一团里，第 6 步各自停在三团中心

形状决定算法：K-Means 切月牙，DBSCAN 沿密度

两个月牙：K-Means 一条直线各切一半 ARI 0.25；DBSCAN 完整分开 ARI 1.0

肘部：5 → 6 降 1000、6 → 7 降 500；78 句 embedding \(k = 7\) ARI 1.0，模板页自成一簇
语料探索时 \(k\) 取 50 还是 200 影响不大——每簇抽几条读

案例：RFM 客户分群

4,338 个客户按 R 与 M 散点，四个簇：冠军在左上、流失中在右下

714 人（16%）贡献 65% 营业额；起名字与决定动作是人的事
颜色量化：k = 16 已经能看，k = 64 几乎看不出差别

08 · 降维：PCA、SVD、t-SNE 与 embedding 的各向异性

PCA = 中心化的 SVD；t-SNE 只保邻域；向量挤在窄锥（余弦 0.7+），先减均值

原始向量上同 / 异主题的余弦全在 0.5–1.0 重叠；减均值后分开

PCA 看全局，t-SNE 看局部

手写数字：PCA 前两维中间混成一片；t-SNE 十种颜色各成一团

PCA 2 维 KNN 0.60 vs t-SNE 0.98；64 维里 29 维解释 95%
真实权重 90% 能量要 299/896 维——W 本身不低秩，LoRA 的低秩假设是关于 \(\Delta W\) 的

案例：Eigenfaces

平均脸与前 15 张特征脸：先是整体明暗、光照方向，之后出现眼镜与脸型

前 50 个主成分解释 88%，重建出眼镜；k = 20 能认出是谁
PCA 为压缩不为精度：原始像素比 PCA 更准；whiten 把低方差主成分拉平，150 维时 1-NN 0.93 → 0.80

09 · 去重：MinHash 与 LSH 的概率

MinHash 相等概率 = Jaccard；阈值 0.7 是 \(b=14,r=8\) 算出的 0.685

四组 (b, r) 的 S 曲线：候选概率 1 − (1 − s^r)^b 随 Jaccard 的变化

案例：wikitext 去重，暴力 vs LSH

500 个注入对：改 2% 的全在右上、改 20% 的全在左下、改 5% 的正卡在阈值上一半一半

暴力两两比较 16 分钟 vs LSH 1.5 秒；200 万对只剩 267 个候选
LSH 按 S 曲线概率召回候选（\(J \ge 0.7\) 找到 89%），漏掉的不是 bug、也没有「不漏」的保证；三层去重由便宜到贵：精确 → MinHash → embedding（同义句 Jaccard 0.00 但余弦 0.46）

10 · 评估：从混淆矩阵到 judge 的一致性

不平衡时准确率没有信息；校准要单独查；系统偏差平均不掉

阈值扫描：精确率升、召回降、F1 中间最高；右侧 ROC

AUC 高不等于概率可信：校准

过度自信的模型偏离对角线；Platt / isotonic 校准后贴回

过度自信 ECE 0.069 → 0.019，AUC 不变；永远选 A 有 92% 一致、κ = 0
20 个 benchmark 领先 12 个：随机期望 10 ± 2.2，在一个标准差内
阈值在验证集上定；同来源的题按簇重抽（公式区间覆盖 61% vs 簇 94%）

案例：银行营销，按成本定阈值

两种成本下利润随阈值的曲线：5 欧最优 0.07，25 欧最优 0.19；默认 0.5 都不对

准确率无用、按成本定阈值、配对检验：差 0.001 AUC 的 \(p = 0.1\)——是噪声

贯穿十篇的几条线

线	在哪几篇	一句话
容量 vs 数据	一、二、四、五、六	过拟合的解药是数据、正则、集成；容量随深度 / 核宽 / 次数增长
测试集只能看一次	一、十	参与过决策的就不是测试集；多个 benchmark 要多重比较
相似度 → 加权	四、五、七、八、九	KNN、核回归 / attention、K-Means、余弦、Jaccard——距离怎么定义决定一切
偏差 vs 方差	一、三、六、十	集成只降方差；系统偏差（judge 位置偏好）平均不掉
概率不是分数	三、十	阈值是业务参数；AUC 不看概率、校准另查

常见误区

学习率越小越安全——上限由最大曲率定，太小在沟底爬不动；先标准化让碗变圆
奖励模型 78% 太低该训更久——上限是标注一致率，贴着它就是学会了
KNN 直接用在原始高维特征上——1000 维最近与最远只差 10%
attention 是全新机制——1964 年的核回归，新的是 Q、K、V 学出来
K-Means 两次结果不同是 bug——局部最优是性质，用 k-means++ 与 n_init
两段文本余弦 0.85 说明很像——各向异性下所有对都在 0.7 以上，先减均值
过滤器准确率 95% 很好——正例 3% 时全判负也有 95.6%
20 个 benchmark 领先 12 个——随机期望 10 ± 2.2

下一步

原文：总纲 /classical-machine-learning-in-the-llm-era.html · 总结与通关自测 /classical-ml-series-recap-and-self-test.html
配套代码：ai-learning-labs/classical-ml——每篇一个手写机制脚本 + 一个 case_*.py 真实数据案例（加州房价、垃圾短信、MNIST、泰坦尼克、Adult、RFM、Eigenfaces、wikitext 去重、银行营销）
往后读：L3 深度学习基础；评估那一篇的统计工具在数学系列第八篇