批处理

将多个请求合并为一次推理批次以提升吞吐。

批处理让 GPU 更充分地并行计算，吞吐显著提升、单请求成本下降，但单个请求的等待时间变长。离线任务（批量生成、评测）尤其适合；服务框架也提供连续批处理平衡延迟。