Prime Intellect推出Prime Inference：面向前沿开源大模型的无服务器与预留式推理平台

面向智能体工作负载的新型推理平台

Prime Intellect正式推出Prime Inference，一个专为前沿开源大语言模型（如GLM-5.3）构建的生产级模型推理平台。该平台提供两类部署模式：面向突发流量的无服务器（serverless）端点，以及面向持续高负载场景的预留GPU容量——后者基于Prime自建的跨多地数据中心GPU集群（当前采用NVIDIA Blackwell架构，Vera Rubin芯片平台已在路线图中）。在公开发布前，平台已内部稳定运行，日均处理token量近1万亿，主要来自强化学习（RL）策略 rollout、合成数据生成、模型评测及长时间运行的编码智能体（coding agents）等典型agentic任务。

服务层闭环：连接推理与训练

Prime Inference是Prime Intellect开源训练栈的推理层关键组件。该公司此前已开源post-training工具链，包括prime-rl（强化学习微调框架）、verifiers（验证器）和sandboxes（沙箱环境）。推理平台的上线完成了‘训练→部署→反馈’闭环：线上模型产生的真实用户交互轨迹（production traces），可直接回流至后续训练迭代，形成数据飞轮。据官方披露，其GLM-5.3服务端点在OpenRouter基准测试中位列响应速度最快梯队之一；工具调用错误率趋近于零，且自上线起保持100%服务可用性。

架构深度优化：聚焦智能体交互效率

该平台底层推理栈深度融合多项前沿技术：NVIDIA Dynamo（路由与KV缓存管理）、vLLM（高效推理引擎）、Mooncake（主机DRAM二级KV缓存）与FlashInfer（快速注意力计算库），由Prime与NVIDIA联合构建，相关改进已向上游开源社区贡献。针对智能体典型负载（单次交互平均向140K token长上下文追加约6K token），平台实施两项核心优化：

• Prefill/Decode解耦：预填充（prefill）与自回归解码（decode）分别运行于独立GPU组；Dynamo负责请求路由，vLLM在各组执行模型计算；解码器通过NIXL协议拉取已计算的KV缓存。实测p90逐token延迟降低近40%。
• 缓存感知路由：Dynamo的KV感知路由器综合评估请求前缀缓存重叠度与队列积压情况，确保同一会话连续回合始终路由至相同解码器；Mooncake进一步在主机DRAM中引入第二级KV缓存层，提升缓存命中率。

GLM-5.3在GB200 NVL72上的性能实测

在NVIDIA GB200 NVL72硬件上，Prime对GLM-5.3进行了精细化调优：

• 以100 token/s/user为目标交互吞吐，1:4的prefill/decode资源配比实现最高并发数；达101 tok/s/user时，单prefill组支撑66个并发会话，单GPU输出吞吐100 tok/s。
• DEP8 prefill拓扑相较TEP8，在同等硬件下提供约5倍可用前缀缓存容量；将每步prefill token数从8K减半至4K，中位排队等待时间从550ms降至110ms，首token延迟下降约20%。
• 采用NVFP4 KV压缩后，每个MLA缓存行体积由576字节压缩至352字节，单解码器缓存token数从1.09M提升至1.63M。
• 自研原生稀疏MLA核在15 query tokens负载下耗时约12.0μs，优于分阶段实现（17.7μs）及FP8方案（13.7μs）；BLHNC KV布局使传输描述符数量从19,559锐减至约1,940，平均传输时间由146ms降至78ms。

可靠工具调用保障

针对智能体高频失败原因——工具调用名称错误或参数格式失效，Prime团队为Dynamo贡献了结构化标签生成器（structural-tag builder），适配GLM系列工具调用格式；vLLM则集成xgrammar库，动态屏蔽违反工具schema的非法token生成。团队还修复了若干解析缺陷，例如避免`<`符号被错误解码为HTML实体`&lt;`。

与竞品关键能力对比

在与Together AI、Fireworks AI及Baseten的横向对比中，Prime Inference在GLM-5.3无服务器支持、OpenAI兼容API、预留容量部署及底层栈透明度（明确披露Dynamo/vLLM/Mooncake/FlashInfer组合）方面具备差异化优势；其定价尚未完全公开，而竞品当前GLM-5.3输入/输出价格均为$1.40/$4.40 per 1M tokens（数据截至2026年10月2日）。