推理部署推理性能、量化与成本优化

速率限制

API 提供商对单位时间内请求次数或 Token 量的上限。

速率限制(RPM/TPM)用于保护服务并控制成本,超出会返回 429 错误。选型时需同时评估价格与速率上限,高并发场景应选择更高限额或多路负载。

相关术语