Meta发布MetaRoCE：专为AI规模以太网设计的全新RDMA传输协议

网络瓶颈已成为AI训练的首要制约

前沿大模型的训练与推理已不仅是算力问题，更是网络问题。在数千加速器协同训练过程中，all-reduce、all-to-all等集合通信操作高度依赖网络同步，最慢的一次传输即决定整轮训练的完成时间。即便极小的网络延迟或丢包，也会导致大量GPU计算资源闲置。Meta指出，当前标准RoCE（RDMA over Converged Ethernet）已成为扩展至数十万GPU集群的关键瓶颈。

MetaRoCE：颠覆性重构RDMA设计范式

MetaRoCE并非RoCEv2的迭代升级，而是从零设计的‘clean-sheet’传输协议，专为AI规模以太网优化。其核心突破在于根本性逆转了传统RoCE的假设：标准RoCE要求网络严格保序、依赖PFC（优先级流控）实现无损，并排斥多路径分发（packet spraying）；MetaRoCE则主动将网络视为‘有损’（lossy）基础设施，将保序、路径调度、丢包检测与重传等关键逻辑全部移至端点网卡（NIC），使网络层仅需提供基础ECN标记与ECMP路由能力。

六大关键技术设计

• 默认乱序交付：数据包被主动喷洒至多条路径，天然乱序到达；每个包携带完整目的地址，直接写入最终内存位置，无需重排序缓冲区，消除队头阻塞。
• 原生多路径支持：每条路径通过独立UDP源端口标识ECMP熵值，NIC可动态切换路径；各路径维护独立拥塞窗口与RTT估计，精准区分拥塞与链路故障。
• 以丢包容忍替代无损保障：完全摒弃PFC与暂停帧；采用256位选择性ACK位图，位图空缺即判定为丢包，仅重传对应缺失包，且限定于原丢失路径。
• 双向拥塞控制：结合发送端基于ECN的AIMD算法与接收端驱动的公平带宽分配提示——每次ACK中，接收方明确告知该发送方所获带宽份额，避免盲目试探式调速。
• 拓扑无关性：仅依赖交换机普遍支持的ECN与ECMP功能，无需包修剪、在网遥测、信用流控或交换机侧分发机制，因而可跨厂商云环境部署。
• 连接状态解耦：打破传统RDMA中‘一对队列对=一种有序流+一个拥塞窗口’的紧耦合模式，单连接可承载多个独立有序流与多条底层路径，统一由单一拥塞控制器协调。

实测性能与部署进展

Meta已在AMD Pensando可编程NIC上实现MetaRoCE，并在64节点AMD GPU集群上对比RoCEv2运行RCCL集合通信。结果显示：MetaRoCE在all-reduce与all-to-all任务中均实现更高吞吐与更短流完成时间。关键韧性指标显示：在1%丢包率下仍保持约86%吞吐，在10%丢包率下仍持续提供有效带宽，呈现平滑退化而非崩溃式下降。多平面验证（4-plane与8-plane拓扑，最高4000并发连接）证实其吞吐随平面数线性扩展。

目前MetaRoCE尚未进入生产部署阶段。Meta计划于2026年OCP全球峰会正式发布协议规范、DPDK优化的软件参考实现及生产级合规测试套件；硬件支持处于早期，除AMD Pensando外，其他厂商的适配工作正在进行中。Meta强调，当前决策属于‘网络架构演进’层面，而非采购决策。

> 编者观点：MetaRoCE揭示了AI基建正从‘堆算力’转向‘重构网络语义’的新阶段——中国企业若跟进超大规模智算中心建设，需提前评估网卡可编程性、交换机ECN/ECMP成熟度及RDMA协议栈自主可控能力，而非仅关注GPU数量。