Performance、Cost 与 Capacity

把 latency、token、cost、queue、backpressure 与 capacity 当成同一个系统容量问题。

推荐阅读顺序

1. 延迟到底花在哪里：Latency Decomposition 与 TTFT

回答：一次 Agent 请求的总延迟由哪些阶段组成，TTFT、generation、Tool latency 分别怎样定位？

2. 钱怎么花、模型怎么选：Token、Budget、Routing 与 Cost / Quality

回答：token cost 怎样累积到 Run budget，model routing 又怎样在成本、能力和容量之间做选择？

3. 如何降低模型与 Context 成本：Model Delegation 与 Cache

回答：什么时候值得把工作委派给小模型，Prompt / Retrieval cache 又分别复用什么而不破坏版本和权限？

4. 怎样减少并限制下游压力：Tool Cache、Parallelism 与 Pool Capacity

回答：如何同时用 Tool cache 减少调用量、用 parallelism 提高吞吐，又不超过连接池和下游容量？

5. 过载时如何控队列：Backpressure、Throughput 与 Latency

回答：当 Harness 产生工作的速度超过 Model/Tool/DB/Worker 的消费能力时，怎样限制排队并找到 throughput 与 tail latency 的容量拐点？

6. 系统能扛多少：Run Budget、Capacity Planning 与 Benchmark

回答：Per-run budget 和系统 capacity planning 怎样连接，benchmark 又要测哪些负载点才有意义？

本模块学习边界

• 暂不展开：没有 baseline 前不做微优化；不以单次最快结果代替容量结论