arganzheng · 2026-10-29
循环之外的一切都是 harness;权限范围是错误的上限;能自动验证到什么程度,就能自主到什么程度。
%%{init: {"flowchart": {"wrappingWidth": 160}}}%%
flowchart TB
A1["01 最小循环"] --> A2["02 工具与 MCP"]
A1 --> A3["03 运行时"]
A1 --> A4["04 上下文与子 agent"]
A2 & A3 --> A5["05 权限与沙箱"]
A1 & A2 & A3 & A4 & A5 --> A6["06 源码对照"]
A4 --> A7["07 多 agent"]
A3 & A5 --> A8["08 记忆与人审"]
A5 & A7 & A8 --> A9["09 可靠性、评测与运营"]
40 行循环 + 四个卫士 + 两个出口才够生产——能用工作流就不用 agent
%%{init: {"flowchart": {"wrappingWidth": 460}}}%%
flowchart LR
A["① 组装上下文"] --> B["② 调模型"] --> C{"③ 解析输出"}
C --> D["④ 权限 → 沙箱"] --> E["⑤ 写回结果"] --> A
C --> END1["出口一<br/>正常结束"]
G["卫士<br/>步数/token/美元/时间"] -.-> A
G -- "耗尽" --> END2["出口二<br/>部分结果"]
G -- "触发" --> END3["出口三<br/>降级给人"]
style END2 fill:#fff3e0,stroke:#c98a00
style END3 fill:#fde8e8,stroke:#c0392b
四个卫士都在循环里;编排器不升级
while True: # 四个卫士在这里:步数 / 预算 / 超时 / 重复
resp = model(messages, tools)
if not resp.tool_calls: return resp.text # 出口一:模型停
for call in resp.tool_calls: # 编排器:审批 → 沙箱首试 → 不升级
result = execute(call) # 一切「模型可见」的都要「已记录」
messages.append(tool_result(call, result))
工具按 schema 进注册表;tool search 按需加载、PTC 让中间结果不进上下文
%%{init: {"flowchart": {"wrappingWidth": 460}}}%%
flowchart TB
subgraph SRC["工具从哪来"]
direction LR
S1["应用函数"] --- S2["MCP server"] --- S3["供应商内置"] --- S4["技能 / 脚本"]
end
SRC --> REG["工具注册表:schema"]
REG -- "全塞上下文" --> CTX1["② 定义层"]
REG -- "tool search" --> CTX2["按需加载"]
CTX1 & CTX2 --> MD["模型:返回 tool_call"]
MD -- "程序化调用" --> EX["执行层"]
工具按 schema 进注册表;PTC 让中间结果不进上下文
| 项 | 数 |
|---|---|
| 治理 | AAIF;SDK 十亿下载 |
| 授权 | DCR → CIMD;resource 绑定受众 |
| 何时用 tool search | 二十个以上工具 |
| PTC | 四家都有 |
会话日志只追加是核心——resume / fork / replay 都是同一条流的重放
%%{init: {"flowchart": {"wrappingWidth": 170}}}%%
flowchart LR
E1["1 用户"] --> E2["2 模型"] --> E3["3 结果"] --> E4["4 审批"] --> E5["5 模型"] --> E6["6 压缩"] --> E7["7 …"]
E3 -.-> D["当时上下文"]
E4 -.-> F["新会话"]
E7 -.-> C["当前上下文"]
日志只追加——resume / fork / replay 是同一条流
| 项 | 数 |
|---|---|
| Agents API | 2026-09-10;九家沙箱;无额外费;失败响应 −86% |
| 100 个并发会话在等审批 | 不能占 100 个 worker——挂起释放 |
| 托管的代价 | 绑供应商模型、日志在供应商侧 |
隔离 → 卸载 → 清理 → 压缩;子 agent 只回摘要,但多 agent 约 15 倍 token
%%{init: {"flowchart": {"wrappingWidth": 190}}}%%
flowchart LR
A["<b>隔离</b>:子 agent 自带上下文<br/>只回摘要,代价≈0"] --> B["<b>卸载</b>:大返回存外面<br/>上下文留定位符"]
B --> C["<b>清理</b>:修剪过期<br/>工具输出"]
C --> D["<b>压缩</b>:模型调用摘要旧历史<br/>最贵、有损、缓存失效"]
style A fill:#eefaf0,stroke:#4d9a5c
style D fill:#fde8e8,stroke:#c0392b
子 agent 只回摘要——隔离换上下文,不省钱
| 规则 | 为什么 |
|---|---|
| 「无 > 10K token 的项」 | 任何单项超过就 spill 到文件 |
| subagent vs agent teams | 前者回摘要、后者共享目标 |
| 串行任务 | 不拆子 agent——没有并行收益,多派发与摘要开销 |
权限四层缺一不可——权限档、审批、执行策略、沙箱;deny 高于一切
%%{init: {"flowchart": {"wrappingWidth": 150}}}%%
flowchart LR
CALL["模型返回<br/>工具调用"] --> L1{"① 权限档"}
L1 -->|"超档"| DENY["拒绝"]
L1 -->|"在档内"| L2{"② 审批 · ③ 执行"}
L2 -->|"forbidden"| DENY
L2 -->|"需审批"| ASK["请人批"]
ASK -->|"拒绝"| DENY
ASK -->|"批准"| SB["④ 沙箱"]
L2 -->|"自动"| SB
SB -->|"成功"| OUT["结果写回"]
SB -. "被拦 → 升级(下图)" .-> ASK
classDef step fill:#fff7e0,stroke:#c98a00,stroke-width:2px,color:#222
classDef dec fill:#eef6ff,stroke:#5b8fd6,color:#222
classDef deny fill:#fdecea,stroke:#c0392b,color:#222
class CALL,ASK,SB,OUT step
class L1,L2 dec
class DENY deny
「never / on-request」决定拦截后是死路还是新审批——升级不是绕开沙箱,是重新问人
%%{init: {"flowchart": {"wrappingWidth": 200}}}%%
flowchart TB
SB["④ 沙箱执行"] -->|"被沙箱拦住"| ESC{"允许升级?"}
ESC -->|"never / on-request:不"| DNO["返回沙箱拒绝说明"]
ESC -->|"是:新审批"| ASK["挂起请人批"]
ASK -->|"拒绝"| DENY["拒绝,结果送回模型"]
ASK -->|"批准"| SB
classDef step fill:#fff7e0,stroke:#c98a00,stroke-width:2px,color:#222
classDef dec fill:#eef6ff,stroke:#5b8fd6,color:#222
classDef deny fill:#fdecea,stroke:#c0392b,color:#222
class SB,ASK step
class ESC dec
class DNO,DENY deny
命令文本看不出效果——所以审批后还要沙箱
| 层 | 例 |
|---|---|
| 权限档 | :read_only / :workspace / :danger_full_access |
| 审批策略 | allow / prompt / forbidden 带 match / not_match;策略化授权对抗审批疲劳 |
| 执行策略 | 命令文本看不出脚本的真实效果——所以还要沙箱 |
| 沙箱 | macOS Seatbelt / Linux Landlock + seccomp / Windows |
四个 harness 换一样付一样——状态、压缩、策略语言、沙箱、模型耦合五个轴
%%{init: {"flowchart": {"wrappingWidth": 300}}}%%
flowchart TB
H["harness 五组件:循环 · 工具协议 · 运行时 · 上下文管理 · 权限沙箱"]
H --> C1["<b>Codex</b>(Rust)<br/>单核工作区 · 状态在对象 · 策略语言"]
H --> C2["<b>DeepSeek Harness</b>(TS)<br/>一切插件 · 日志即状态"]
C1 --> C3["<b>Claude Code</b>(TS,闭源)<br/>Agent SDK · 模式审批 · auto-compact"]
C2 --> C4["<b>OpenHarness</b><br/>Claude Code 的开源复刻"]
五轴对照:状态、压缩、策略、沙箱、耦合
| Codex | DeepSeek Harness | Claude Code | OpenHarness | |
|---|---|---|---|---|
| 实现 | Rust 单核 | Python 轻量 | 闭源 + SDK | TS 一切皆插件 |
| 状态 | 对象 | 日志驱动 | 对象 + 加密压缩 | 插件 |
| 权限 | execpolicy Starlark |
规则 | 六步 deny 优先 | 插件 |
| 沙箱 | 原生三平台 | 接缝 | 原生 | 接缝 |
| 模型耦合 | 深 | 浅(能拉起别家) | 深 | 浅;Minimal 模式 |
多 agent 只为隔离、并行、专业化——代价 15 倍 token、缓存不共享
多 agent 只为隔离、并行、专业化——代价 15 倍
| 量 | 数 |
|---|---|
| 多 agent 成本 | 约 15 倍 token |
| 缓存 | 只有分叉前的前缀共享 |
| A2A | 组织内先用子 agent |
记忆是检索(写 / 取 / 忘、上限 25 KB);人机分工六级、每级换验证方式
%%{init: {"flowchart": {"wrappingWidth": 480}}}%%
flowchart TB
S["一次会话结束"] --> W{"写什么?"}
W -- "偏好、坑、进度" --> ST["存储:带来源与时间戳"]
W -- "能重查的" --> X["不写"]
ST --> R["<b>取</b>:进上下文 ③ 层<br/>(硬上限 25 KB)"]
ST --> F["<b>忘</b>:过期 / 冲突 / 要求 → 删"]
R -. "错记忆跨会话当事实" .-> S
不可逆止于提案;六级分工各换验证
| 级 | 人做什么 | 验证靠什么 |
|---|---|---|
| 1 | 逐步确认 | 人 |
| 2–3 | 批准计划 / 抽检 | 人 + 规则 |
| 4–5 | 例外处理 | 结构(本体、类型、权限)+ 测试 |
| 6 | 不在环 | 全自动验证 + 可逆 |
十类失败只有一类是异常;轨迹评测看六维——不只完成率
%%{init: {"flowchart": {"wrappingWidth": 460}}}%%
flowchart TB
R["agent 跑任务"] --> O{"结束方式"}
O -- "回答" --> V["结果校验"]
O -- "任一到顶" --> P["交付部分结果"]
O -- "卫士触发" --> H["降级给人"]
V & P & H --> TR["每步进 trace"]
TR --> C["失败打类"]
C --> E["坏轨迹 → 评测用例"]
E -. "改动先过门禁" .-> R
同一基准三协议三个数——看六维不只完成率
| 量 | 数 |
|---|---|
| Terminal-Bench | 90.6 / 30.0 / 31.2——同一基准三种协议三个数 |
| demo 到生产 | 十二行清单 |
| 改工具 | 录制回放,不重跑模型回归 |
| 主张 | 落点 |
|---|---|
| 循环之外的一切都是 harness | 卫士与出口(01)、工具发现(02)、会话日志(03)、压缩与子 agent(04)、权限(05)、四家对照(06) |
| 权限范围是错误的上限 | 四层缺一不可(05)、deny 高于一切、沙箱看真实效果、基础设施三环(05)、越权是评测项(09) |
| 能验证到什么程度就能自主到什么程度 | 六级分工每级换验证(08)、本体前移验证、不可逆不无人(08)、轨迹六维(09) |
/tools-agents-and-harness.html;通关自测在系列总结