吞吐量

单位时间内模型处理的请求或 Token 数量。

吞吐量决定服务成本与容量：吞吐越高，单 Token 成本越低。批处理（同时处理多个请求）是提升吞吐的核心手段，但会以延迟为代价。