Reka发布Rho-1:190亿参数全模态推理模型
Reka公司发布研究预览版Rho-1模型,参数量19B,是首个原生支持文本、图像、视频理解与生成,并直接输出机器人动作的单一体系结构模型。其采用双流架构共享KV缓存,取消传统多模态流水线中的跨模态调度延迟。目前仅开放研究预览,未开源权重或提供API。
全模态统一:一个模型完成理解、生成与执行
Reka正式发布Rho-1的研究预览版本——一款从零训练的190亿参数‘全模态推理模型’(omni-reasoning model)。该模型以单一神经网络实现对文本、图像、视频的联合理解与生成,并可直接输出机器人控制动作及本体感知信号(proprioception)。Reka将其定位为对现有‘代理式多模态流水线’(agentic pipelines)的直接替代方案:传统方案依赖中央规划器将任务分发给多个专用子模型(如图像生成器、视频检测器),而Rho-1将所有模态统一为上下文窗口内的token序列,彻底消除模块间交接延迟与信息窄化。
架构创新:双流协同,共享KV缓存
Rho-1采用独创的双流Transformer架构。每个Transformer块包含两组专家权重:理解流(understanding stream)负责语言解析与视觉语义提取;生成流(generation stream)则对连续token(如图像隐向量、视频帧、机器人动作)执行去噪重建。二者共享注意力机制与同一KV缓存。当响应需生成像素内容时,理解流先输出一个离散的‘交接token’,生成流随即基于完整累积状态进行渲染。训练目标融合离散token的下一词预测(next-token prediction)与连续输出的流匹配(flow matching)。该设计带来实际增益:例如边界框直接以坐标token形式输出,无需独立检测模型;视频首帧复用上下文中的图像表征,避免重复编码。
性能表现:实时性与蒸馏加速
基础版Rho-1视频生成速度为0.79倍实时(中位数),首段可观看视频流约6秒内启动;实测首片段生成耗时7.0秒,显著快于对比的多代理流水线(13.8秒)。经蒸馏优化后,去噪步数从99步降至8步,质量损失极小,5.3秒视频片段可在约1秒内生成——在Reka内部测试中,其图像生成速度匹敌当前最快专用图像模型,且文本首token响应亦为所测模型中最快。需注意,所有性能数据均来自Reka自测,非第三方基准评测。
世界建模与机器人能力
Rho-1支持持续流式推理,新指令可经理解流实时注入并动态更新模型状态。演示中,同一初始画面被引导出‘左倾转弯’与‘右倾转弯’两种分支续写。在机器人任务中,动作指令与未来视频帧均从同一隐状态解码。在LIBERO仿真环境中,Rho-1成功输出7通道机器人控制信号。为缓解真实遥操作数据稀缺问题,Reka将其与自研‘逆动力学模型’(Inverse Dynamics Model)结合,该模型可从原始视频中反推控制信号。
横向对比:Rho-1的技术定位
截至2026年10月5日官方确认数据,Rho-1在多项关键能力上处于前沿:原生支持视频生成(上限672×384)、实时连续滚动控制、原生连续动作token输出;相较ByteDance BAGEL(14B总参,7B活跃)、BAAI Emu3.5(34B)、Google Genie 3,Rho-1是唯一同时覆盖文本、图像、视频、机器人动作四类输入/输出的闭源研究模型。其未开源权重(Apache 2.0许可仅适用于BAGEL与Emu3.5),当前仅通过contact@reka.ai提供研究预览访问。
关键事实摘要
Rho-1为19B参数模型,训练耗时3个月,使用320块H100 GPU;视频生成分辨率上限为672×384;属研究预览阶段,暂无公开权重、API或商业化定价;技术细节详见Reka官网博客及X平台公告。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →