阿甘的博客 | Arganzheng's Blog

置顶致读者的一封信

这里写什么、怎么读、怎么告诉我哪里不对

你好，欢迎来到这里。这封信讲三件事：这里写什么、读的时候有哪些顺手的小功能、怎么告诉我哪里写得不对。这封信本身就是演示场地，下面提到的功能都可以直接在这里试，随便划、随便点，不会弄坏什么。一、这里写什么主要是技术，近两年集中在 AI 工程。内容按三张学习地图组织——AI 算法工程师、AI-Infra 工程师、AI 应用工程师——地图下面是三十多个系列，比如《大模型推理系统揭秘》《GPU Kernel 工程》《通信与互联》。每个系列有总纲、正文和一篇总结自测；文章开头告诉你它是第几篇，文末有整个系列的目录。导航栏的 Series 是全部系列的树，系列列表也标出「入门 / 进阶 / 深入」，方便按难度挑选。更早的文章（2009 年起）是 Java、数据库...

Posted by arganzheng | August 3, 2026

置顶AI 全栈学习地图：造模型、跑模型、用模型的三张图

One System, Three Roles — an Overview of the Three AI Learning Roadmaps

内容简介这个博客的技术文章围绕三张学习地图组织：《AI 算法工程师学习地图》、《AI-Infra 工程师学习地图》、《AI 应用工程师学习地图》。每张地图把一个方向的知识分层，说明每层回答什么问题、按什么顺序学、哪些已经写成了系列。本文是三张地图之上的一页总览，回答的是三张地图各自不回答的问题：为什么是三张而不是一张？三张地图之间怎么分工、在哪里交汇？一个人该从哪一张进入，读到哪里该换到另一张？1 三张地图对应的是同一个系统里的三种角色。一个大模型从数据到用户手里，要被造出来（预训练、后训练、评测）、被跑起来（引擎、集群、平台）、被用起来（检索、工具、编排、产品）。三件事用同一批名词——Python、PyTorch、Transformer、KV c...

Posted by arganzheng | January 1, 2026

生产化与运营：让 AI 应用可靠、可控、可持续地跑（总纲）

Production and Operations: Running AI Applications Reliably, Safely and Sustainably

内容简介《生产化与运营：让 AI 应用可靠、可控、可持续地跑》是一组共七篇的系列文章，是《AI 应用工程师学习地图》第六层（L6）的正文。前五层把一个 AI 应用从模型组件、上下文、检索、agent 到评测搭了起来；这一层讲它上线之后要面对的一切：请求从哪进（模型网关）、钱怎么花（成本工程）、快不快（延迟工程）、会不会被攻破（安全）、合不合规（治理）、怎么发布与回滚（发布工程）、以及怎么让系统随使用变好（数据飞轮）——加上物理世界的系统怎样把一次软件更新推到一支车队上。这一层的特殊性在于三件事在传统后端里不成立。成本是一等运营指标：一次请求可能几分钱到几美元，同一功能换个模型或改个 prompt 成本差十倍，”每任务成本”要像延迟一样上仪表盘。攻击面是新的：...

Posted by arganzheng | November 7, 2026

评测、可观测与可追溯（08）：系列总结与通关自测

Evaluation, Observability and Traceability: Series Recap and Final Self-Test

七篇正文回答了一个问题：怎么知道改了之后更好了，出了事怎么追到那一步。第一篇建评测集，第二篇讲评分与 judge 的校准，第三篇给指标矩阵，第四篇讲门禁、静默升级与在线评测，第五篇讲 trace 与 OpenTelemetry 的约定，第六篇讲可追溯的五项实践，第七篇讲运行时 guardrails 与物理世界的仿真。七篇合起来是《AI 应用工程师学习地图》第五层：评测是测试，可观测是日志，可追溯是调试——其他六层的每一次改进都靠这一层变成工程而不是猜测。本文不讲新内容：总表、逐篇回顾、贯穿的线、误区、三段式自测。读完这七篇，你应该能回答哪些问题？1 哪些数字与结论必须能脱口而出？2 怎么判断自己是”读过”还是”掌握”了？3 先把整个系列放在一张图上...

Posted by arganzheng | November 6, 2026

评测、可观测与可追溯（07）：运行时可靠性与物理世界的仿真

Runtime Reliability and Simulation for the Physical World

前六篇讲的是上线前（评测）与上线后看（可观测、可追溯）。这一篇讲两件补充的事。第一件是运行时：上线后在请求路径上拦住坏输出——guardrails、置信度与拒答、幻觉检测、fallback——它们是评测发现的失效模式在生产里的最后一道网。第二件是物理世界：自动驾驶、机器人、工业控制的失败可能致命且不可逆，”评测”不能在真实世界里做，于是验证被做成了一门独立的工程——仿真。地图把它作为应用栈的对照案例；这一篇讲仿真的层次、开环与闭环、sim-to-real、覆盖率与长尾、影子模式，以及它与数字 agent 的沙箱环境、录制回放、红队集的同构关系。本篇要回答的核心问题是：运行时 guardrails 在哪一步拦什么，幻觉检测的实际手段与成本是什么？1 物理...

Posted by arganzheng | November 6, 2026

评测、可观测与可追溯（06）：可追溯——录制回放、决策点日志、失败分类与反馈绑定

Traceability: Record-Replay, Decision Logs, Failure Taxonomy and Feedback Binding

可观测让你看到发生了什么，可追溯让你从一个坏结果追到产生它的那一步、并把它变成可修的 bug 与可回归的用例。模型不可复现（《模型作为组件（01）：失效模式——非确定性、幻觉、上下文与越界，把「模型会出错」拆成七条可检测的性质》），所以传统的”复现 → 断点 → 修”在这里换成五项实践：录制回放（把模型输出录下来，改非模型部分时重放）、决策点日志（让轨迹能画成状态图而不是日志流）、失败分类学（每次失败打类，分布进面板，每类有药）、版本 diff（变更时间线与指标曲线对齐）、反馈绑定（用户的一句”不好”带着 trace id 进队列，处理结果回到评测集）。本篇要回答的核心问题是：录制回放怎么做，什么改动能不重跑模型？1 决策点日志记什么，失败分类学怎么建...

Posted by arganzheng | November 5, 2026

评测、可观测与可追溯（05）：trace——span、OpenTelemetry GenAI 语义约定与工具选择

Tracing: Spans, the OpenTelemetry GenAI Semantic Conventions and Tooling

前四篇讲评测，后两篇讲可观测与可追溯。trace 是它们的数据源：评测集从 trace 里采、bad case 带 trace id、门禁的逐条 diff 要能打开那一条的完整轨迹、供应商静默升级要从 trace 的指标里看出来。这一篇讲 trace 记什么、怎么组织、按什么约定、用什么工具、敏感数据与成本怎么处理。一个现状要先说清：OpenTelemetry 的 GenAI 语义约定让各家可观测工具共享一种 trace 形状——但到 2026 年中它全部仍是 Development 状态（没有一个 gen_ai.* 的 span、事件、指标、属性标为 Stable），2026 年 6 月刚从核心仓库迁入独立的 semantic-conventions-gena...

Posted by arganzheng | November 4, 2026

评测、可观测与可追溯（04）：回归与门禁——CI、供应商静默升级、A/B 与在线评测

Regression Gates: CI, Silent Model Updates, A/B Tests and Online Evaluation

评测集、评分、指标三样齐了，这一篇讲怎么把它们接进发布流程：每次改动（prompt、模型、effort、schema、工具集、检索配置、harness 版本）过一道门禁；供应商在你不动的时候换了模型怎么发现；线上怎么做 A/B 与在线评测；离线分数与在线指标不一致时信谁。《Prompt 与上下文工程（06）：prompt 当代码管——版本、评测、A/B，以及上下文 vs 检索》画了 prompt 的生命周期图（编辑 → 版本 → 门禁 → 灰度 → 生产 → 监控 → 模型升级重跑），这一篇给它完整的实现：门禁的判据、逐条 diff、噪声阈值、探针集、影子模式、A/B 的分流与归因、隐式反馈的种类、离线—在线相关性的校验。本篇要回答的核心问题是：门...

Posted by arganzheng | November 3, 2026

评测、可观测与可追溯（03）：评什么——单步、RAG、agent 与多轮的指标矩阵

What to Evaluate: Metrics for Single-Step, RAG, Agent and Multi-Turn Applications

评测集有了、评分方法有了，第三个问题是评什么。一个分类器评准确率就够；一个 RAG 要分开评检索与生成（《检索与知识接入（07）：检索评测与运营》）；一个 agent 要看结果之外的过程（《工具、Agent 与 harness（09）：可靠性、评测与运营 agent》）；一个多轮客服要看策略遵循与轮数；所有应用都要把成本与延迟和质量一起报。这一篇把散在前四层的指标收成一张矩阵，补上多轮对话与安全两块，并讲三条横切的原则：按分布看、按类型分层、成本延迟并列。本篇要回答的核心问题是：不同应用形态各评什么指标？1 为什么过程指标要与结果并列，多轮对话与安全怎么评？2 每题跑几次、怎么报告，公开基准在这张矩阵里的位置是什么？3 一、总览 1. 指标矩阵 ...

Posted by arganzheng | November 2, 2026

评测、可观测与可追溯（02）：评分——规则、LLM-as-judge 与人

Scoring: Rules, LLM-as-a-Judge and Humans

评测集有了，每条的输出怎么判对错？三层：规则（确定、免费、优先）、LLM-as-judge（需要判断的地方）、人（校准、抽检、裁决）。这一篇的重点是第二层——因为它是 2025–2026 年的默认手段，也是最容易被误信的一层。 judge 是一个测量仪器，仪器要先被测量。2026 年两项大规模研究给出了数字：21 个 judge、三个基准、约 54 万次判定的系统评估发现——用精确匹配一致率报告 judge 质量相对 Cohen’s kappa 普遍虚高 33–41 个百分点（没有校正机遇一致）；同一批 judge 的排名在不同基准间移动多达 14 位；两个生产部署的 judge 同时有 >0.95 的重测信度与 >0.10 的位置偏差——一致但有偏。...

Posted by arganzheng | November 1, 2026

评测、可观测与可追溯（01）：评测集——AI 应用的单元测试

Eval Sets: The Unit Tests of AI Applications

前四层每一篇都在说”在评测集上证明”。这一篇讲评测集本身：它是 AI 应用的单元测试——但与单元测试有三点不同：期望是分布不是值（同一输入跑十次结果不同，《模型作为组件（01）：失效模式——非确定性、幻觉、上下文与越界，把「模型会出错」拆成七条可检测的性质》），用例从生产流量来而不是写出来（你想不出用户会怎么问），依赖会在你不动的时候变（模型升级）。这三点决定了评测集怎么建、多大、怎么维护。一个数字说明这一层的现状：LangChain 2026 年的报告里，89% 的团队接了可观测，只有 52% 接了评测；质量是 agent 部署的最大障碍（32%）。有 trace 没评测集的团队，每次改动靠看几个例子上线——这是”看得见”与”能判断”之间的差距。本篇要回答...

Posted by arganzheng | October 31, 2026

评测、可观测与可追溯：怎么知道改了之后更好了（总纲）

Evaluation, Observability and Traceability: Knowing Whether a Change Made Things Better

内容简介《评测、可观测与可追溯：怎么知道改了之后更好了》是一组共七篇的系列文章，是《AI 应用工程师学习地图》第五层（L5）的正文。前四层反复说”在评测集上证明”、”用 judge 评”、”从 trace 里采”、”接评测门禁”——这一层讲这些东西本身：评测集怎么建、怎么运营；评分用规则、模型还是人，LLM-as-judge 的偏差有多大、怎么校准；单步、RAG、agent 各评什么；改动怎么过门禁、供应商静默升级怎么发现、在线怎么评；trace 记什么、怎么与 OpenTelemetry 的 GenAI 语义约定对齐；可追溯的几项实践——录制回放、决策点日志、失败分类、版本 diff、反馈绑定；以及运行时的可靠性（guardrails、fallback）与物理...

Posted by arganzheng | October 30, 2026

Arganzheng's Blog