Arganzheng's Blog

stay hungry, stay foolish

置顶致读者的一封信

这里写什么、怎么读、怎么告诉我哪里不对

你好,欢迎来到这里。 这封信讲三件事:这里写什么、读的时候有哪些顺手的小功能、怎么告诉我哪里写得不对。这封信本身就是演示场地,下面提到的功能都可以直接在这里试,随便划、随便点,不会弄坏什么。 一、这里写什么 主要是技术,近两年集中在 AI 工程。内容按三张学习地图组织——AI 算法工程师、AI-Infra 工程师、AI 应用工程师——地图下面是三十多个系列,比如《大模型推理系统揭秘》《GPU Kernel 工程》《通信与互联》。每个系列有总纲、正文和一篇总结自测;文章开头告诉你它是第几篇,文末有整个系列的目录。导航栏的 Series 是全部系列的树,系列列表也标出「入门 / 进阶 / 深入」,方便按难度挑选。 更早的文章(2009 年起)是 Java、数据库...

置顶AI 全栈学习地图:造模型、跑模型、用模型的三张图

One System, Three Roles — an Overview of the Three AI Learning Roadmaps

内容简介 这个博客的技术文章围绕三张学习地图组织:《AI 算法工程师学习地图》、《AI-Infra 工程师学习地图》、《AI 应用工程师学习地图》。每张地图把一个方向的知识分层,说明每层回答什么问题、按什么顺序学、哪些已经写成了系列。本文是三张地图之上的一页总览,回答的是三张地图各自不回答的问题: 为什么是三张而不是一张?三张地图之间怎么分工、在哪里交汇?一个人该从哪一张进入,读到哪里该换到另一张?1 三张地图对应的是同一个系统里的三种角色。一个大模型从数据到用户手里,要被造出来(预训练、后训练、评测)、被跑起来(引擎、集群、平台)、被用起来(检索、工具、编排、产品)。三件事用同一批名词——Python、PyTorch、Transformer、KV c...

ML 编译器内部:从 SSA、MLIR 到 Triton 编译器(总纲)

Inside ML Compilers, from SSA and MLIR to the Triton Compiler

内容简介 《ML 编译器内部:从 SSA、MLIR 到 Triton 编译器》是一组共十三篇正文的系列文章,是 AI-Infra 学习地图上唯一的选修系列。它面向两类人:已经用 Triton 写过 kernel、想知道编译器替自己做的那些决定是怎么做出来的工程师;以及准备进入 Triton、MLIR、TVM 这类项目做编译器开发的贡献者。 它回答的问题是: 一段块级的张量程序,怎样一步步变成一条条 GPU 指令?中间每一个决定——这个张量每个线程持有哪几个元素、这条 load 为什么是 128 bit、这个 barrier 为什么插在这里、这个循环为什么被拆成了三段——是哪一个 pass 做的,凭什么分析结果做的?1 地图上的两个系列已经把编译器当作...

产品与体验(06):系列总结与通关自测

AI Product and Experience: Series Recap and Final Self-Test

五篇正文回答了一个问题:在”组件会出错”的前提下怎么做产品决策。第一篇选场景(锯齿状边界、demo–产品鸿沟),第二篇选形态(copilot → agent → 自动化、后台 agent 的兴起),第三篇校准信任(过度与不足、八种手段),第四篇呈现不确定与非对话形态,第五篇量真实价值并回流。五篇合起来是《AI 应用工程师学习地图》第七层,也是应用地图的最后一层:从模型组件到可信的产品。 本文不讲新内容:总表、逐篇回顾、贯穿的线、误区、三段式自测,最后是整张应用地图的收束。 读完这五篇,你应该能回答哪些问题?1 哪些数字与结论必须能脱口而出?2 怎么判断自己是”读过”还是”掌握”了?3 先把整个系列放在一张图上——箭头是推导或前置上的依赖(箭头尾端的结论...

产品与体验(05):产品指标与回流

AI Product Metrics and Feeding Back into the System

一个 AI 功能的周报:消息数涨 40%、AI 生成占比 65%、用户自报”每周省 5 小时”。三个数字都可能在说一个正在失败的产品:消息数涨可能是用户在反复重试;生成占比不是目标;自报的节省常高于实测一倍以上。这一篇讲量什么才是”有用”:指标矩阵、北极星与护栏、反指标、自报 vs 实测、定性研究、以及指标怎么回流到评测集与飞轮——让第五层的评测与第六层的飞轮有产品侧的输入。 本篇要回答的核心问题是: AI 产品的指标矩阵是什么,北极星怎么选?1 哪些是虚荣指标,自报与实测差多少?2 指标怎么回流到评测集与飞轮,AI 产品的 A/B 有什么特殊?3 一、总览 1. 指标矩阵 %%{init: {"flowchart": {"wrappingWidt...

产品与体验(04):不确定性的呈现与非对话形态

Presenting Uncertainty and Beyond the Chat Box

上一篇说校准信任的手段都是”让用户看到真实的能力与不确定”。这一篇讲怎么让用户看到:引用与来源怎么呈现、置信度怎么表达(不给数字)、拒答怎么说、流式与进度、agent 的步骤、审批的交互、diff 式审阅。然后讲形态:对话框是 2023 年的默认,不是最好的默认——内联建议、按钮化动作、环境感知、生成式 UI、语音与实时、后台交付,各在什么时候比对话框好。 呈现的三个原则:诚实(不把不确定的呈现为确定的)、可核对(用户能验证)、可行动(用户知道下一步能做什么)。它们把前六层的工程机制(引用正确率、拒答出口、审批的 justification、步骤流、diff)翻译成用户看到的东西。 本篇要回答的核心问题是: 引用、置信度、拒答各怎么呈现?1 进度、age...

产品与体验(03):人机分工与信任校准

Human-AI Division of Labor and Trust Calibration

两种失败。过度信任:Air Canada 的乘客信了聊天机器人编造的退票政策(法院判赔);律师把模型虚构的判例提交给法庭;PocketOS 的开发者没看 agent 要执行什么就让它跑(《模型作为组件(01):失效模式——非确定性、幻觉、上下文与越界,把「模型会出错」拆成七条可检测的性质》)——人不再核对,把错误当真,这叫自动化偏见,也是第一篇”边界外用 AI 更差 19 个百分点”的机制。信任不足:功能做出来没人用,或用户每条都重做——价值归零。两种都是信任与实际能力不一致。产品的目标不是让用户尽量信任,是让信任校准到与能力一致:AI 擅长的地方放手,不擅长的地方核对。 这一篇讲两种失败怎么发生、采纳与修改的公开数据说明什么(Copilot 的建议接受率长期约三...

产品与体验(02):形态——copilot、agent 与自动化,后台 agent 为什么成了主流

Product Forms: Copilot, Agent, Automation — and Why Background Agents Took Over

同一个能力可以做成不同的形态:一个代码模型可以是 Tab 补全(人写、AI 提示下一行)、对话框(人问、AI 答、人复制粘贴)、编辑器内的 agent(AI 改多个文件、人看 diff 接受)、后台 agent(人提任务、走开、回来审 PR)。2021 年只有第一种,2026 年四种并存,且 coding 领域的重心已经移到最后一种。形态决定了人在哪一步看结果——这是第一篇”组件会出错”前提下最重要的产品决策。 这一篇讲 copilot → agent → 自动化的梯子与它和 《工具、Agent 与 harness(08):memory 与 human-in-the-loop》六级人机分工的对应,2024–2026 年形态演进的四步与后台 agent 成为主流的四...

产品与体验(01):场景选择——锯齿状边界与 demo–产品鸿沟

Choosing AI Scenarios: The Jagged Frontier and the Demo-to-Product Gap

先讲三个回撤。Klarna 2024 年初宣布 AI 客服第一个月处理 230 万次对话、解决三分之二的工单、处理时间从 11 分钟降到 2 分钟、相当于 700 名员工、预计年增利 4,000 万美元,客服团队从 5,000 人减到 3,500 人;2025 年 CEO 承认裁得太狠、失去了有价值的人的经验,AI 在复杂、模糊、情绪化的问题上处理不了,”要对客户说清楚:你想要的话永远有人”;到 2026 年变成混合模式——AI 第一响应、人处理例外与挽留。IBM 用 AskHR 替代大部分 HR 职能后不得不再招人——它做得了常规问答与请假审批,做不了需要判断的。Duolingo 2025 年 4 月宣布 AI-first、逐步停用 AI 能做的合同工,一周后 C...

产品与体验:把不确定的能力做成可信的产品(总纲)

AI Product and Experience: Turning an Uncertain Capability into a Trustworthy Product

内容简介 《产品与体验:把不确定的能力做成可信的产品》是一组共五篇的系列文章,是《AI 应用工程师学习地图》第七层(L7)的正文,也是应用地图的最后一个系列。前六层把一个 AI 应用从模型组件到生产运营搭了起来;这一层回到起点的问题:这个能力该做成什么产品、给谁、以什么形态、让人怎么信任它、怎么知道它有用。 这一层的特殊性只有一条,但它决定一切:产品里有一个会出错、且不知道自己什么时候出错的组件(《模型作为组件(01):失效模式——非确定性、幻觉、上下文与越界,把「模型会出错」拆成七条可检测的性质》)。传统产品的功能要么对要么坏,AI 产品的功能是”多数时候对、有时错、错得很自然”。于是场景选择要问”错了代价多大、能不能被发现”;形态选择要问”人在哪一步看结果”...

生产化与运营(08):系列总结与通关自测

Production and Operations: Series Recap and Final Self-Test

七篇正文回答了一个问题:一个能跑的 AI 应用怎样变成可靠、可控、可持续运营的产品。第一篇网关,第二篇成本,第三篇延迟,第四篇安全,第五篇治理与合规,第六篇发布工程,第七篇飞轮与物理世界。七篇合起来是《AI 应用工程师学习地图》第六层:在成本、质量、延迟、安全四个维度上都有预算、有监控、有预案。 本文不讲新内容:总表、逐篇回顾、贯穿的线、误区、三段式自测。 读完这七篇,你应该能回答哪些问题?1 哪些数字与结论必须能脱口而出?2 怎么判断自己是”读过”还是”掌握”了?3 先把整个系列放在一张图上——箭头是推导或前置上的依赖(箭头尾端的结论被箭头头端当作前提),不是阅读顺序: %%{init: {"flowchart": {"wrappingWidth"...

生产化与运营(07):数据飞轮与物理世界的上线

The Data Flywheel and Deploying to the Physical World

事故先说两个方向的。第一个:一个 AI 功能上线一年,用户量涨了十倍,质量没变——反馈进了一个没人看的表,评测集还是上线时的 50 条,prompt 半年没改,因为”没有证据说该改什么”。飞轮没转。第二个:一次 OTA 把新版本的驾驶软件推给了全部车辆,其中一个场景的回归在仿真里没覆盖到,一夜之间几千辆车同时出现同一种异常——没有分批、没有分区域、没有回滚。 这一篇讲两件事。数据飞轮:使用 → 反馈 → bad case → 评测集 → 改进 → 门禁 → 发布 → 使用,数据够了再微调;它常卡在哪、用户数据怎样合规地进飞轮。物理世界的上线:影子 → 内部车队 → 有限用户 → 分阶段放量 → 全量,OTA 的分批与回滚、车队级 A/B、接管率、安全案例——与数字...

×