推理部署推理性能、量化与成本优化

测试时计算

推理阶段额外分配的计算资源(搜索、验证、迭代)。

测试时计算是推理时扩展的实现手段:模型在生成中会「想」更久、多次验证再给出答案。o 系列、DeepSeek-R1 等推理模型即依赖此机制。

相关术语