语音智能体低延迟推理API基准：首字节时延TTFT并非全部
本文指出，语音AI系统的关键指标不应仅是‘首字节时延’（TTFT），而需综合考量端到端语音轮次延迟（如STT→LLM→TTS全链路）。LiveKit、Daily等机构将自然对话的可接受上限定为1500ms，其中LLM环节TTFT预算仅约700ms。文章基于2026年8月最新实测数据，对比了Baseten、DeepInfra、Fireworks等十余家API服务商在10k输入token负载下的真实TTFT表现，并揭示吞吐量高不等于语音体验优。
TTFT：语音场景的起点，而非终点
时间至首字节（Time to First Token, TTFT）常被团队用作选择语音推理API的核心指标——但它也最容易误导决策。TTFT仅标记生成启动时刻；而文本转语音（TTS）模型必须等到完整语句抵达后才能开始合成音频。在这两个时间点之间的空隙，恰恰决定了智能体是显得自然对话，还是频繁被用户打断。
本文对语音全栈各层——大语言模型（LLM）、语音转文本（STT）、文本转语音（TTS）及语音直转语音（S2S）——进行了系统性延迟基准测试。
延迟预算：一次语音交互的真实成本
LiveKit将典型语音轮次拆解为：STT耗时约100–200ms，流式LLM推理300–500ms，TTS 100–200ms，WebRTC网络传输50–150ms，端到端目标控制在700ms至1.2秒之间。Pipecat联合创始人Kwindla Hultman Kramer建议将中位语音到语音延迟目标设为800ms，原型阶段可放宽至1500ms。他将其粗略均分为四段：传输与媒体处理、STT+语句断点检测、LLM推理、TTS，每段约200ms。
Daily此前研究指出，人类自然对话响应平均约500ms，超过800ms即显生硬。其2026年2月发布的语音智能体LLM基准进一步推导：要实现自然对话，语音到语音总延迟须低于1500ms；若采用‘语音→文本→LLM→语音’架构，则分配给LLM环节的TTFT预算仅剩约700ms——这成为衡量所有API提供商的硬性标尺。
解读TTFT基准的五大关键前提
1. 工作负载形态主导结果：Artificial Analysis自2026年3月起将默认测试负载从1k token提升至10k token。长提示显著拉高TTFT与输出速度，更贴近真实语音Agent场景（含策略、角色设定、升级规则、检索内容及工具Schema等前置上下文）。
2. 服务器地理位置已内嵌：测试统一在Google Cloud us-central1-a区域虚拟机执行，TTFT包含网络延迟，因此地理邻近性会系统性影响厂商排名。
3. 推理类token单独计数：按Artificial Analysis定义，推理模型的TTFT指首个推理token（非最终答案token），二者分列不同字段。
4. 测量起点为客户端侧：Daily明确采用“请求发出→API返回首个可用token”全程测量，拒绝厂商内部堆栈内测值。
5. 运行结果不可复现：Daily坦承TTFT在不同测试轮次间波动显著；且厂商可能在不更名情况下动态更新推理栈或模型权重。
LLM层TTFT实测排名（2026年8月30日数据）
基于Artificial Analysis API提供商排行榜，工作负载为10k输入token单次请求，取72小时中位值：
- Baseten gpt-oss-120b（high）：0.23s（最快），输出266 tok/s
- Baseten gpt-oss-120b（low）：0.24s
- DeepInfra Nemotron 3 Ultra：0.28s
- Cohere North Mini Code：0.32s
- Fireworks Nemotron 3.5 Lightning：0.46s（输出达501 tok/s）
- Cerebras gpt-oss-120b（high）：0.49s（但输出高达1697 tok/s）
吞吐陷阱：高token/s ≠ 低语音延迟
芯片厂商优化方向与语音Agent需求存在错位。例如Cerebras同款模型虽吞吐量遥遥领先，但其TTFT（0.49s）仍落后于Baseten（0.23s）；Groq与SambaNova的高吞吐模型TTFT分别达0.82s与0.92s，已超出700ms可用预算。这印证：仅看tokens/second将导致选型失败。