Runway开源27B世界动作模型,登顶同类榜单

一、270 亿参数的世界动作模型,究竟在算什么

2026 年 11 月 11 日,Runway 把 Praxis-1 的权重挂上了 Hugging Face,许可证一栏写着 Apache 2.0。过去三年,这家纽约公司被人记住的是 Gen 系列视频模型。这一次它交出来的,是能直接驱动机械臂的东西,官方叫它世界动作模型,总参数 272 亿。

名字听着玄,做的事很朴素。机器人接到「把杯子倒扣在托盘上」,相机给出画面,模型先把接下来一秒多的画面演一遍,再倒推出让画面变成那样的关节动作;执行完,新画面回传,再演一遍。世界动作模型的核心循环里,视频预测和动作预测是同一个前向过程的两路输出,不是先规划、再执行的两套系统。

先想一遍未来,再决定手往哪放

这和主流的视觉语言动作模型不太一样。后者更像熟练工:看到相似场景,凭经验直接给动作,快,但材质、遮挡、堆叠一变,就容易给出「看着合理、物理上危险」的解。世界动作模型的思路更接近工程师:先预测后果,再挑动作,那层推演可以被检查、被反驳,不只是黑箱输出。

这个差别在任务失败时特别明显:纯策略模型出错,你很难分清它是没看清、没想明白,还是手抖了;而把未来画面一起预测出来的模型,至少能让你看到它「以为会发生什么」。对世界动作模型来说,画面好看不是目的,预测出来的未来能不能被动作读懂,才是关键。

三个部件:视频主干、动作专家、每台机器人的薄投影层

拆开看,世界动作模型的骨架并不复杂。视频主干是 269 亿参数的混合专家扩散 Transformer,20 个前馈层里有 17 层是专家层,每层 1 个共享专家加 128 个路由专家,每个 token 选 8 个,算力约等于一层稠密网络,参数容量却大得多。任一时刻真正参与计算的只有约 28 亿参数,这也是它能单卡跑起来的原因。

主干跑在冻结的 Wan2.2 变分自编码器潜空间里,指令由同样冻结的 Qwen3.5-2B 文本编码器读取。动作部分另起炉灶:一个 16 层、宽 1024、约 3.14 亿参数的稠密 Transformer,用交叉注意力读主干的 8 个编码器层,一边读一边输出动作。它读的不是当前帧,而是主干正在想象的那几帧未来,这个选择基本决定了模型的性质。

第三部分是每台机器人各自的输入输出投影层,参数量很小,负责把不同本体的位姿和动作翻译成统一格式。主干和动作专家在机器人之间共享,换一台机器只需要换这几张薄薄的投影,这也是「一个检查点适配多种本体」在工程上成立的前提。

一次调用只算 1.6 秒

推理时,机器人送来相机画面和当前位姿,一个世界动作模型返回一段未来视频潜变量,以及 24 行动作——15 赫兹下正好 1.6 秒。机器人把这一整块执行完,再发下一次请求。单张数据中心卡上默认一次往返约 0.5 秒,开启实时分块模式后可以压到 0.12 秒左右,代价是预测精度略有妥协。

体积上,bf16 权重 54.4GB,一张 80GB 显卡能装下;用 NVFP4 量化后降到 17.5GB,一张 RTX 5090 就能跑。从数据中心卡到工作站卡,再到机器人身上的 Jetson Thor,官方适配清单覆盖了整个算力梯度,这决定了这套东西能不能被小团队真正用起来。

二、它和普通视频生成模型的区别在哪

很多人第一反应是:不就是把视频模型接了个机械臂吗?区别不在输出形式,而在建模对象和评价标准。世界动作模型和视频生成模型的分野,恰恰在这里。

从「像不像」变成「做了会怎样」

普通视频生成模型学的是给定提示词或首帧,下一段画面最可能长什么样,本质是条件分布采样器。世界动作模型学的是:在当前状态下,如果我执行这个动作,未来会变成什么样。数学上只多了一个动作条件,工程上却多了一整类反事实问题——同一个杯子,用不同角度、不同力度去推,结果必须合理地分叉。

这就带来了评价标准的迁移。视频模型看视觉连贯、风格一致;世界动作模型要看预测是否随动作正确变化、物体身份是否保持、接触与受力是否合理、能不能支撑闭环。学界反复提醒:视觉上可信的未来,不等于动作可读的未来。一个能生成漂亮厨房视频的模型,完全可能不知道抽屉拉开需要多大力。

判断一个模型是不是真的世界动作模型,要看它有没有把预测嵌进策略回路,而不是只看它能不能出片。Runway 把视频损失和动作损失等权相加、联合训练,从始至终没把视频预测拿掉,这是它和「视频模型加个动作头」最实质的分界。

视频预训练凭什么能迁移到机械臂

逻辑很直白:看过海量视频的模型,早就学会了物体不会凭空消失、杯子被推会滚、液体倾倒受重力、人手接近物体有固定套路。这些先验在机器人数据里要花极大代价采集,在互联网视频里却是免费的副产品。世界动作模型的底子就是这份物理直觉,机器人微调则从「从零学物理」变成「把常识对准自己身体」。

Praxis-1 的训练分四段:先在 12 类生成任务上做通用视频预训练,片段最长 20 秒;再切到块级因果注意力,用 58% 第一视角人类视频、20% 通用视频、18% 真实机器人视频做具身中期训练;然后接上全新动作专家,做视频与动作联合中期训练;最后针对具体机器人微调。DROID 的 Franka 机械臂那一步,用了约 277 小时成功片段、5 万步优化、128 张高端计算卡。

更有说服力的是缩放曲线。中期训练的算力越大,下游微调越好用:在从未进入训练集的 RT-1 机器人上,最早检查点的成功率是 56.3%,最新检查点到了 80.0%。这条曲线说明视频预训练确实在给动作学习打底,这也是世界动作模型敢从视频起步的底气。

一个反直觉的结论:网上视频和遥操作视频差不多好使

Runway 公布过一组对照:用网络视频预训练的策略,微调后放置误差 16.1 厘米;用遥操作机器人视频预训练的,16.0 厘米。差距小于误差范围。如果这个结论站得住,具身智能最贵的那一环——真机遥操作数据采集——就不再是唯一解,世界动作模型的数据账本会被彻底改写。

但它需要打个折。这是厂商自己发布的早期结果,公开材料里没有完整对照表;而且「看懂一个动作」和「用这副身体做出这个动作」之间,隔着关节限位、控制频率、末端受力、触觉反馈这些视频里没有的信息。视频能解决常识,不能解决本体,真机微调短期谁也省不掉,这也划出了世界动作模型当前的能力上限。

三、登顶的是哪个榜,46.2% 该怎么读

「登顶权威榜单」这句话,需要拆成两半看:登的是哪个榜,以及在这个榜上排第几。世界动作模型这个词被反复提起,但具体名次要落到数字上。

RoboLab-120 与那张成绩单

榜单由英伟达维护,叫 RoboLab-120,120 个桌面操作任务,每个任务跑 10 次,合计 1200 个回合。在 DROID 上微调的 Praxis-1 完成了 555 个,成功率 46.2%,在世界动作模型和开放权重机器人基础模型这两个类别里排第一。

同类的比分是:FLUX 3 Action 42.9%,Cosmos3 Nano 36.8%,π0.5 28.0%。领先第二名 3.3 个百分点,不算碾压,但在强手云集的榜上足以说明这条路走得通。Runway 还宣称它超过所有开放权重的视觉语言动作模型,这句没法完全核实——榜上有个叫 BiMind v0.5 的视觉语言动作模型是 49.2%,比它高,但榜单没标注该模型权重是否公开。

总榜第五,这句话不能省

同一张榜上排最前面的不是这类模型:一个语言模型智能体方案 86.0%,一个视觉语言动作模型 49.2%,Praxis-1 总榜第五。厂商宣传里的「第一」,限定语是「世界动作模型类别」和「开放模型」,不是「所有机器人策略」。把限定语去掉,就成了另一回事。

还有一层:榜单标注了部分条目在训练中用了仿真数据,Praxis-1 没有被标注;同一张表上英伟达自家的 GR00T N1.6 只有 7.2%。这个数字不该当成技术差距的证据,因为训练配方、评测设置、是否用仿真数据都不统一,跨条目比较本就不可靠。榜单是参考,不是判决书。

真要判断含金量,还得看真机。Runway 在 Franka FR3 上做了 10 项任务、100 次测试,成功 88 次,对比基线 FLUX 3 Action 是 80 次。在训练中完全没出现过的 RT-1 机器人上微调后,SimplerEnv 成功率 80.0%,而原始 RT-1 策略是 52.4%。跨本体这条,数据是站得住的。

真机、跨本体,以及一张横向对比表

早期合作方覆盖了三种形态:Noble Machines 的腿式人形、Standard Bots 的六轴工业臂、Ultra 的双臂仓储机器人,同一个检查点只做轻量微调就能适配,这也是世界动作模型最被看重的跨本体能力。机器人业务负责人 Andy Chen 举过一个不修饰的例子:半小时示范学会一个任务,15 次全对;换成一堆没见过的乱木板,10 次里成功 6 次。六成,比宣传片诚实,也说明离车间还差得远。

把许可和路线放在一张表里,同类世界动作模型之间的差别会更清楚。

模型 参数规模 许可协议 数据侧重 适合谁
Praxis-1(Runway) 27.2B,混合专家,单 token 约 2.8B 激活 Apache 2.0,权重与代码均可商用 通用视频预训练,加具身视频与真机微调 想自己改模型、做跨本体适配的团队
π0.5(Physical Intelligence) 未公开 Apache 2.0,开放仓库 大规模真机轨迹为主 学术复现与轻量真机实验
Isaac GR00T N1.7(英伟达) 3B 代码 Apache 2.0,权重走开放模型许可 第一视角人类视频加仿真 已在用英伟达工具链的厂商
UnifoLM-WLA-1.0(宇树) 约 6B Apache 2.0,完整检查点尚未全放 自采机器人数据 宇树本体用户
FLUX 3 Action(Black Forest Labs) 未公开 以官方发布为准 未详细披露 关注生成式动作路线的研究者
Cosmos3 Nano(英伟达) 系列中的小尺寸档 开放权重,附平台条款 仿真与合成数据占比高 需要仿真环境配套的团队

表格里最值得看的一列不是参数,是许可。同样是「开源」,有的放权重不放代码,有的代码宽松、权重另附条款,有的干脆只开放非商用版本。Praxis-1 是少数把权重和代码一起放在最宽松协议下的前沿模型,这一点的意义,比 46.2% 更长远。

四、Apache 2.0 这三个字,到底值多少钱

Apache 2.0 不是「随便用」的同义词,它有明确条款:可以商用,可以修改,可以再分发,不需要公开自己的改动,还附带专利授权。对机器人公司来说,最后一条尤其重要——把世界动作模型塞进自家产品,不用被迫开源自己的控制栈,也不用担心专利反诉。

能商用、能改、能再分发

对比一下就清楚:英伟达的开放模型许可允许商用,但带使用限制,移除安全护栏或起诉对方时权利终止;有些模型用非商用协议,企业拿去做产品是违规的;还有不少「开放」只给权重,微调代码留在手里。世界动作模型的开源尺度差异就在这三层,Apache 2.0 把三层全打开,法务审核路径最短。

对硬件厂的意义在于自主权。以前选一个闭源模型,等于选一个供应商,模型升级、价格调整、服务下线都不由自己;现在权重在本地,哪怕厂商明天改策略,产线也不会停。这是采购逻辑上的实质变化,不是情怀。

三个检查点,一张 5090 就能跑

这次放出来的不是一个文件,而是三套:中间训练阶段的基础模型、DROID 单臂微调版、YAM 双臂微调版,外加仿真评测环境和全量微调、LoRA 微调脚本。权重在 Hugging Face,原生支持 LeRobot 数据格式,推理可走 vLLM-Omni 或官方托管服务。

LoRA 是关键的降门槛设计。全量微调 27B 模型,小实验室根本烧不起;LoRA 只训练少量适配参数,就能把模型对准自己的机器人、相机位置和任务。配合 NVFP4 量化后的 17.5GB 体积,一张消费级旗舰卡就能完成适配实验。这把「试试物理智能」的成本从几十万美元压到了几千美元,世界动作模型的落地门槛也随之下移。

开放不是慈善,是抢定义权

Runway 说这是当初就承诺过的开放发布,理由是美国在物理智能上需要开放和互操作。话没错,但商业逻辑同样清楚:权重免费,服务收费。模型人人可下,真正难的是数据管线、评测体系、托管推理和工程支持,这些才是能持续收钱的地方。

更长远的一层是标准。当一支团队的微调脚本、数据格式、部署工具链都围绕某个世界动作模型长出来,切换成本就会指数上升。开放权重看起来是让利,实际上是在别人的研发流程里占据默认位置。这和当年深度学习框架的打法一模一样:框架免费,生态归我。

五、一家视频公司,为什么要造机器人大脑

这个转向不是临时起意。Runway 2018 年由三位纽约大学同学创办,2023 年做出最早一批公开可用的视频生成模型。但从 2025 年底的 GWM-1 开始,它的研究叙事就变了:不再讲生成多好看的画面,而讲模拟世界如何运转。

从 Gen 到世界模型,路线早就铺好了

2025 年 12 月的 GWM-1 分成环境模拟、机器人、数字人三个变体;2026 年 2 月,团队展示了在世界模型里评估机器人策略,模拟评分与真机结果的相关系数达到 0.95;9 月的 GWM Worlds 2 把高保真视频和音频做成了可实时交互的模拟。

这条线上的每一步,都在回答同一个问题:模型能不能预测「如果我这么做,世界会怎样」。机器人只是这个问题最硬的一种考法,因为答案要用真实的力、真实的接触去验证。所以 Praxis-1 不是跨界,而是同一条研究路线走到物理世界的必然一站,世界动作模型只是这一站的名字。

53 亿美元估值之后,需要第二增长曲线

2026 年 2 月,Runway 完成 3.15 亿美元 E 轮,估值 53 亿美元,由 General Atlantic 领投,英伟达、Adobe、AMD 的产业基金跟投,累计融资超过 8.6 亿美元。钱要花在预训练下一代世界模型上,而视频生成的主业正在被价格战拖薄利润。

机器人是更长周期、更高壁垒的生意。它卖的不是订阅,而是基础设施;一旦成为某条产线的底座,替换成本极高。对一家需要向投资人证明「不只做滤镜」的公司来说,把世界动作模型做成基础设施,是叙事上最顺、技术上复用价值最高的方向。

与英伟达的关系:既是盟友也是同行

Runway 是 Cosmos 开放联盟的创始成员,联盟的第一个项目就是与英伟达联合开发基础模型。但同一张 RoboLab 榜单上,英伟达自己的模型也在参赛。这种关系在 AI 基础设施层很常见:芯片厂需要有人把生态撑起来,模型公司需要算力和渠道,合作与竞争同时成立。

对开发者而言,这种格局其实是好事。两家都在往开放权重上押注,模型能力会快速外溢,真正的分水岭会从「谁有模型」变成「谁有场景和数据」。对中国团队来说,这类模型意味着可以在别人的物理常识之上,专攻自己的本体和工况。

六、常见问题

Praxis-1 可以免费商用吗?

可以。权重和推理、微调代码都以 Apache 2.0 发布,允许商用、修改和再分发,不需要支付授权费,也不需要公开自己对模型的改动。要注意的是,它提供的是版权和专利许可,不提供任何质量担保,产品出问题的责任在部署方。

270 亿参数的模型,普通团队跑得动吗?

推理门槛不高。bf16 权重 54.4GB,一张 80GB 显卡即可;用 NVFP4 量化后 17.5GB,RTX 5090 级别的工作站卡就能跑。真正吃资源的是全量微调,官方示例用了 128 张高端计算卡。多数团队应该走 LoRA 路线,只训练少量适配参数。

它和 π0.5、GR00T 这类模型有什么本质不同?

主流方案是视觉语言动作模型,把看到的画面和指令直接映射成动作;Praxis-1 属于世界动作模型,先预测动作会带来的未来画面,再从这个预测里读出动作。前者快、工程简单,后者多一层可检验的推演,在接触密集、物体外观相似的场景里更有优势。

46.2% 的成功率,是不是太低了?

放在这个榜单上不低,放在工厂里很低。120 个桌面任务各跑 10 次,任务难度和失败惩罚都比产线宽松;46.2% 意味着失败的回合比成功的多。它能证明路线可行,不能证明可以无人值守。真要上产线,还得靠场景收敛和大量真机数据把成功率推到 95% 以上。

没有机器人,也能用这个模型做研究吗?

能。发布包里带了仿真评测环境和 RoboLab-120 的评测权重,可以在仿真里复现榜单结果、做消融实验。对高校实验室来说,这比从零搭一套具身训练管线划算得多。想验证 sim-to-real,还是得有真机,但前期探索完全可以先在仿真里完成。

视频预训练会取代遥操作数据采集吗?

短期不会,长期会改变分工。视频提供的是物理常识和任务先验,遥操作提供的是本体相关的动作细节,两者解决的不是同一个问题。比较现实的路径是:用视频把底座训好,用少量真机数据做对齐,再用世界模型生成合成数据补长尾。采集不会消失,但会变少、变精准。

这套模型最适合什么场景,不适合什么?

适合抓取、放置、装箱、开关抽屉这类接触相对可控、任务边界清晰的操作,也适合需要快速适配多种本体的硬件厂。不适合长链条、多步骤、强依赖模糊语义的任务——官方自己列出的短板就包括外观相似物体容易抓错、指令含糊时完成度下降、单条长指令做多步任务吃力。

接下来这个方向会往哪走?

三个方向比较确定:一是长时序规划,把复杂任务拆成可执行的短指令;二是用预测结果反过来评估和改进自己的动作,形成闭环;三是继续压缩模型,让它真的跑在机器人本体的边缘芯片上。开放权重之后,这三件事会有更多人一起做,进度大概率比闭源快。

THE END
喜欢就支持一下吧
点赞66 分享
评论 抢沙发
头像-知了AI
欢迎您留下宝贵的见解!
提交
头像-知了AI

昵称

取消
昵称表情代码快捷回复

    暂无评论内容