推理部署推理性能、量化与成本优化

API(应用程序接口)

应用程序访问模型服务的标准接口,按用量计费。

模型 API 让开发者通过 HTTP 请求调用模型,无需自建推理环境。主流厂商提供 OpenAI 兼容接口,支持流式输出、函数调用与上下文缓存,是闭源模型的主要交付方式。

相关术语