延迟

从发出请求到收到首个（或完整）响应的时间。

延迟决定交互体验：首 Token 延迟影响「打字感」，完整延迟影响任务耗时。延迟受模型规模、并发、网络与解码方式影响，实时场景通常要求首 Token 延迟低于 1 秒。