生产化与运营：让 AI 应用可靠、可控、可持续地跑

01 · 模型网关：所有调用经过的一层

预防的事故：key 散落、锁死供应商、无归因。七项职责全走一层；不做业务逻辑、不改请求体、不默认语义缓存

%%{init: {"flowchart": {"wrappingWidth": 420}}}%%
flowchart TB
    subgraph APPS["十二个服务"]
        direction LR
        A1["客服"] --- A2["搜索"] --- A3["报告 agent"] --- A4["…"]
    end
    APPS -- "逻辑模型名 + 网关凭据" --> GW["<b>模型网关</b><br/>认证 · 路由 · 限流 · 归因<br/>日志 · 缓存 · 内容检查"]
    GW -- "供应商 key 只在这里" --> P1["OpenAI"] & P2["Anthropic"] & P3["自托管 vLLM"]
    GW -. "限流统一退避" .-> P1

要点

所有调用过网关；推理状态抽象不掉

常见误区

• 「网关注入 request_id 到 system」——毁缓存前缀

02 · 成本工程：从账单到每任务成本

预防的事故：账单吓一跳。没有归因就没有优化——按任务看 p50/p95，长尾 5% 任务花 60% 的钱

%%{init: {"flowchart": {"wrappingWidth": 180}}}%%
flowchart TB
    B["月底账单"] -- "没归因就没优化" --> T["每次调用打标签<br/>租户 · 功能 · 版本 · 任务"]
    T --> L["按天账本"]
    L --> V["按任务看 p50/p95"]
    V --> F["5% 任务花 60% 钱"]
    F --> A["预算降级 · 缓存 · 分流 · 批处理"]

要点

级联/缓存/Batch 省 50–90%；定价覆盖 p95

03 · 延迟工程：从 TTFT 到 agent 的多步

预防的事故：用户等。七段分解各有药；agent 延迟减步数 > 并行 > 每步更快

要点

七段各有药；prefill 缓存命中是最大杠杆

04 · 安全：注入、供应链与数据泄漏

预防的事故：EchoLeak、MCP 投毒。注入链路逐环有层拦——防御在架构的五层，不在措辞

%%{init: {"flowchart": {"wrappingWidth": 170}}}%%
flowchart TB
    IN["① 输入侧<br/>来源标记与分区"] --> M["模型"]
    M --> P["② 权限与沙箱四层"]
    P --> O["③ 输出处理<br/>脱敏 · 执行前检查"]
    O --> D["④ 数据流控制<br/>敏感数据不出边界"]
    D --> R["⑤ 监控与红队"]
    R -.->|"新链路"| IN

    classDef step fill:#fff7e0,stroke:#c98a00,stroke-width:2px,color:#222
    class IN,M,P,O,D,R step

要点

七环链路任一环可拦——工作区要 deny

05 · 治理与合规：审计链、保留、AI Act 与内容标识

预防的事故：审计拿不出。审计链是把已记下的东西串起来——还要保留、不可篡改、能导出

%%{init: {"flowchart": {"wrappingWidth": 300}}}%%
flowchart TB
    Q["这条回复依据什么给出的？"] --> O["输出 → trace_id → 事件日志"]
    O --> M["模型快照 · prompt 版本"]
    O --> R["文档 id · 当时权限"]
    O --> A["发布审批记录"]
    M & R & A --> E["审计链 = 已有记录串起来<br/>定期抽一条验证"]
    E -. "数据存留 · 供应商训练 · 内容标识" .-> Q

要点

审计链要完整、可保留、不可篡改、可导出

06 · 发布工程：改动 = 发布

十类改动都算发布：钉一切 + 开关三态 + kill switch 上线前就存在

%%{init: {"flowchart": {"wrappingWidth": 460}}}%%
flowchart TB
    C["任何改变模型行为的改动"] -- "改动 = 发布" --> V["不可变版本 + 标签"]
    V --> G["门禁：评测集"]
    G -- "过" --> CN["灰度：特性开关按租户 / 比例放量"]
    CN -- "正常" --> PR["production"]
    CN -- "回归" --> RB["一键回滚到上一个版本"]
    PR -. "钉快照、变更单独发" .-> V
    K["kill switch：宕机走降级"] -.-> PR

要点

十类改动都算发布——钉一切 + kill switch

07 · 数据飞轮与物理世界的上线

预防的事故：系统不变好。飞轮六环——bad case 进评测集不直接微调；物理发布学分批 OTA

%%{init: {"flowchart": {"wrappingWidth": 180}}}%%
flowchart LR
    U["使用"] --> F["反馈"]
    F --> Q["坏例队列"]
    Q --> E["评测集"]
    E --> I["改进"]
    I --> G["门禁·灰度"]
    G --> U
    U -->|"授权·脱敏"| D["数据治理"]
    D -.-> F
    E -->|"真实对"| FT["微调"]
    FT --> G

    classDef step fill:#fff7e0,stroke:#c98a00,stroke-width:2px,color:#222
    classDef gate fill:#eef6ff,stroke:#5b8fd6,color:#222
    class U,F,Q,E,I,FT step
    class G,D gate

要点

周进评测集、月发布、季审分布