Observability、Testing 与 Evaluation

先解释系统发生了什么，再用 deterministic tests 验证契约，用 Eval 衡量 Agent 质量。

推荐阅读顺序

1. 如何看见 Agent 在做什么：Logs、Metrics 与 Trace

回答：一个 Run 要怎样被表示成可查询的 logs / metrics / traces，而不是一堆无法关联的日志？

2. 如何把一次 Run 串成完整链路：Correlation、Distributed Trace 与 Redaction

回答：跨 Model、Tool、MCP 和服务边界时怎样保持同一条 trace identity，同时避免把敏感 payload 带进观测系统？

3. 如何量化运行质量：Cost、Latency、Task Success 与 Component Metrics

回答：哪些 cost / latency / task / component 指标能判断系统慢、贵或差，哪些指标不能混成一个总分？

4. Agent Trace 如何标准化导出：OpenTelemetry 与 Export Pipeline

回答：Agent trace 怎样映射到 OpenTelemetry semantic conventions，并经过 processor / exporter 发往观测后端？

5. Runtime 怎么做确定性验证：Unit、Contract、Fault Injection 与 Invariant Tests

回答：哪些 Runtime 行为必须用 deterministic tests 证明，unit、contract、fault injection、invariant tests 各覆盖哪层契约？

6. 恢复逻辑如何防回归：Replay / Resume Tests 与 Golden Trace

回答：Crash、resume 和 replay 逻辑怎样做回归测试，Golden Trace 应固定哪些稳定事实而不是随机输出？

7. 怎样建立可重复的 E2E Eval：Dataset 与 Deterministic Grader

回答：E2E Eval Dataset 怎样代表真实任务分布，哪些断言应该交给 deterministic grader 而不是模型？

8. 如何评估模型决策轨迹：Model-as-Judge、Trajectory 与 Tool Selection

回答：当最终答案无法解释失败原因时，怎样用 trajectory、tool selection 和 Model-as-Judge 评估模型决策？

9. 如何定位质量退化：Planner、Context 与 Regression Evaluation

回答：一次质量下降怎样区分是 Planner、Context 还是版本回归造成，并建立可重复 baseline？

10. 如何证明优化真的有效：Ablation 与 Repeated Trials

回答：模型输出有随机噪声时，怎样用 ablation 和 repeated trials 判断优化是否真的有效？

本模块学习边界

• 暂不展开：不先追求 dashboard 完整性；先保证关键 execution facts 可关联、可复盘、可测试