推理（模型推理）

使用训练好的模型对新输入生成输出的过程。

推理是模型的「运行阶段」：用户输入提示词，模型逐 Token 生成回答。推理成本按 Token 计费，优化方向包括量化、KV 缓存、批处理与推理时扩展等。