英伟达给机器人提速12倍，动作解码不再逐个猜

英伟达在 11 月 8 日发布 VFlash，用一个 5 层非因果 Transformer 当“草稿模型”，把机器人动作里的点、框、轨迹一次性并行猜完，取代逐 Token 自回归解码。官方研究者的说法是：动作解码最高提速 12 倍，整体机器人推理提速 5.1 倍，3D 轨迹误差最多下降 61%。

一、机器人“反应慢”，慢在哪一步

很多人以为机器人慢是因为模型太大、算力不够。实际拆开看，耗时往往不在“想”，而在“说”——把决策翻译成一串动作指令的过程。

自回归解码：一个字一个字往外蹦

主流做法是把动作序列当成语言来生成：先输出第一个点，再输出第二个点，一个 Token 接一个 Token。这种方式的优点是通用，缺点是串行。动作越长，等待越久，机械臂就会在每一个中间点上停顿。人做同样的动作是连续的，机器人却是“抖”着完成的。

延迟直接决定了任务能不能做

抓取静止物体，慢一点没关系；接住抛过来的球、躲开突然出现的人、在传送带上分拣，差 100 毫秒就是两个结果。机器人推理的速度，不只是体验问题，而是任务可行性的边界。

这也是为什么过去几年具身智能的演示视频总是“慢动作”：不是不想快，是解码器跟不上。

二、VFlash 的思路：先猜草稿，再一次对齐

五个视觉基元，一次预测

VFlash 把机器人动作拆成几类视觉基元：点、框、轨迹等。传统做法是逐个生成，VFlash 用一个浅层（5 层）非因果 Transformer 一次性把这些基元全部预测出来，相当于先画一张潦草但完整的草图，再交给后续模块精修。

“非因果”三个字是关键

因果模型只能看前面的 Token 猜下一个，非因果模型可以同时看到上下文的两端。这让它能在一次前向计算里输出整段结构，而不是被顺序绑住。代价是训练更难，收益是推理更快。

草稿模型的定位：不追求最优，追求够快

它的角色类似写作时的提纲：不完美，但能把框架先立起来。后续的精修模块负责把草稿变成可执行的动作。这种“粗生成 + 精修正”的分工，在图像生成、语音合成里都被验证过，搬到机器人动作上是自然的延伸。

三、横向对比：三种动作生成路线

对比维度	自回归解码	扩散策略	VFlash 并行草稿
生成方式	逐 Token 串行	多步去噪	一次并行预测多类基元
速度	慢，随序列长度线性增加	中等，受去噪步数限制	动作解码最高 12 倍提速
轨迹精度	较高	较高	3D 轨迹误差最多降 61%
实现复杂度	低，生态成熟	中，需调去噪调度	较高，需要草稿与精修配合
典型瓶颈	串行延迟	步数难以压缩	草稿质量决定上限

三种路线不是互相淘汰。扩散策略在精细操作上仍有优势，自回归在通用性上最稳，VFlash 补的是“实时性”这块短板。真实系统里更可能是组合使用：草稿模型负责快，精修模块负责准。

四、12 倍提速意味着什么

从“能动”到“能跟人配合”

12 倍是一个相对值，具体到不同任务感受不同。但可以确定的是：当动作解码不再是瓶颈，机器人就能进入需要即时反馈的场景——人机协作、动态分拣、快速抓取。这些场景的共同点是环境一直在变，慢半拍就抓空。

算力账：同样的芯片，干更多的活

对整机厂商来说，提速 5.1 倍意味着同样的边缘算力可以支撑更复杂的模型，或者用更低成本的芯片跑同样的任务。机器人是成本极度敏感的行业，一颗芯片的差价会直接体现在售价上。推理效率的提升，最终会变成产品价格的优势。

数据账：采集效率同步提升

训练机器人需要大量示范数据。解码快了，遥操作采集的节奏就能更接近人的自然动作，采出来的数据质量更高。这是一个正循环：推理更快，数据更好；数据更好，模型更强。

五、70.2% 怎么读：基准测试的边界

在 MolmoSpaces 的四组任务里，接入 VFlash 规划的世界动作模型平均成功率 70.2%，基线是 62.6%。提升幅度接近 8 个百分点，属于“有意义但不惊艳”的区间。

基准是实验室，真机是现场

官方也说明结果主要来自基准测试。基准里的物体位置、光照、摩擦系数都是设定好的，真机上这些变量全部会漂移。70.2% 在论文里是进步，在产线上可能还不够——工业场景通常要求 99% 以上的稳定性。

但从 62.6 到 70.2 的意义在斜率

单看数字不大，重要的是它证明了“并行草稿”这条路可行。一旦方向被验证，后续的工程优化会把这个差距继续拉大。技术路线的价值，往往在前几个百分点就体现出来了。

六、从实验室到产线：三种接入方式

看到论文之后，大多数团队的第一个问题是“我怎么用”。按改造深度，接入方式大致分三档，成本和收益差别很大。

第一档：只换解码器

保持原有模型与训练流程不变，把输出层的串行解码换成并行草稿。改动最小，通常几周能看到效果，适合已经有稳定策略模型、只是嫌慢的团队。代价是收益有上限，因为瓶颈可能不全在解码。

第二档：草稿 + 精修双模型

训练一个轻量草稿模型负责快速出框架，再用手上的大模型做局部修正。这需要额外的训练数据和蒸馏流程，工程量明显增加，但速度和精度的平衡最好。适合把机器人推理当成核心指标的产品团队。

第三档：重训整条动作生成链路

从数据格式开始，把动作表示改成以视觉基元为中心的结构，让模型天生适配并行预测。这是最彻底的做法，也最贵。只有出货量大、愿意为一个百分点投入整年研发的团队才值得走这条路。

选哪一档，取决于你要解决的是“演示”还是“交付”

做演示，第一档足够；做交付，第二档是性价比最高的位置；做平台，才需要考虑第三档。很多团队一上来就想着重训，结果半年过去还在调数据格式，反而错过了窗口期。

七、快 5 倍能省多少钱：一笔粗略的账

机器人推理的算力成本，主要由三部分构成：单次推理的算力、每秒需要推理的次数、以及为了稳定而做的冗余。提速会同时影响后两项。

成本项	提速前	提速后	变化逻辑
边缘芯片需求	需要更高算力型号	可下探一档	同样任务用更便宜的芯片
控制频率	受解码限制	可提高到任务需要的水位	节拍提升，单机产出增加
冗余部署	为延迟留缓冲	缓冲可以收窄	同样节拍下减少备份节点
数据采集	遥操作节奏受限	更接近人的自然动作	单位时间采到更高质量数据

四行里最容易被忽略的是最后一行。数据是具身智能最大的成本项，而采集效率受限于遥操作的流畅度。机器人推理快了，人操作起来不别扭，采出来的轨迹更自然，模型学得更好。这是复利，不是一次性的节省。

别只看芯片钱

整机成本里，算力模组通常只占一小部分，更大的开销在结构件、执行器和交付服务。推理提速真正的价值，是让产品能进入以前做不了的任务，从而抬高售价，而不是单纯压低物料成本。

八、和其他加速手段的关系

推理加速不是只有一条路。量化、蒸馏、投机解码、专用编译，各自解决不同层面的问题。VFlash 属于“改变生成结构”这一类，和其余手段可以叠加。

量化和蒸馏是“压小”，VFlash 是“改法”

前两者让模型变轻，后者让模型换一种输出方式。压小有精度损失，改法没有——它只是把串行换成并行。两者组合，往往能拿到比单一手段更好的结果。

工程优化不能替代架构优化

把算子写得更快、把内存搬得更少，收益通常在 20% 到 50% 量级；改掉自回归结构，收益是数倍。量级不同，投入产出比也不同。这也是为什么这类“结构级”工作值得单独关注。

九、谁最该关注这项技术

人形机器人整机厂

人形机器人的自由度多、动作序列长，串行解码的延迟被放大得最明显。VFlash 这类并行方案对他们是刚需，不是优化项。

工业分拣与物流

传送带不会等人。这一类场景对节拍的要求以毫秒计，推理速度直接决定一条线要配几个工位。

做机器人中间件的团队

如果只做上层应用，感知到延迟的改善会很间接。真正能吃到红利的是把解码、规划、控制串起来的那一层。谁能把“快”做成标准件，谁就能被整机厂依赖。

十、三个需要冷静看待的地方

第一，草稿模型有上限

一次猜完的好处是快，坏处是错了一起错。草稿质量不高时，精修模块要花更多力气纠正，整体收益会被吃掉。这类架构对训练数据的质量要求更高。

第二，基准提升不等于泛化

在四组任务上提升 8 个百分点，不代表换一个房间、换一种材质还能保持。具身智能的老问题是“换个厨房就不会做饭”，并行解码并没有解决这个问题。

第三，工程链路才是瓶颈

解码快了，如果控制频率、通信总线、执行器响应跟不上，端到端还是慢。机器人是一个木桶，最短的那块板决定水位。只优化一环，感受有限。

十一、不同任务，对“快”的要求并不一样

提速不是越快越好，而是“够用就好”。把延迟预算按任务拆开看，会发现很多团队在错误的地方优化。

任务类型	可接受延迟	瓶颈位置	提速优先级
静态抓取	数百毫秒	感知与规划	低
传送带分拣	数十毫秒	动作解码	高
人机协作	一百毫秒以内	感知 + 解码	高
双足行走平衡	毫秒级	控制环	极高，但解码不是主因
精细装配	数十毫秒	力控与视觉伺服	中，精度优先于速度

最后一行值得单独说。精细装配对速度有要求，但更怕“快而糙”。在这类任务里，把轨迹误差从 5 毫米降到 1 毫米，比把频率从 10 赫兹提到 30 赫兹更有价值。技术选型要跟着任务走，而不是跟着榜单走。

先量，再改

动手之前，先给现有系统做一次延迟分解：感知占多少、规划占多少、解码占多少、通信占多少。很多时候解码只占三成，改完发现整体只快了 20%。测量一小时，能省下三个月的无效优化。

另一个常被忽略的环节是通信。动作指令从云端到本体，经过网络、总线、驱动器，每一跳都在加延迟。把机器人推理放在云端看起来很省钱，但如果网络抖动不可控，端到端的稳定性还不如本地小模型。部署位置的选择，本质上是延迟预算的分配。

最后是评测方式。只看平均延迟会掩盖尾延迟，而机器人最怕的恰恰是偶发的卡顿。做验收时应该看 95 分位和 99 分位，而不是平均值。这两个数字才决定用户会不会觉得“它反应慢半拍”。

给国产机器人团队的三条建议

第一，别急着追“端到端大模型”。VFlash 这类工作的价值，是把推理链路拆开优化，而不是用一个更大的模型解决所有问题。对多数团队，先把感知、规划、控制三段各自的延迟压下来，收益比换模型更确定。

第二，把评测体系建起来。官方数据来自基准，客户只认现场。建立自己的延迟与成功率基线，才能判断某项优化到底有没有用。没有基线的团队，容易被发布会牵着走。

第三，重视数据闭环。并行解码让采集更顺畅，采集的数据又反过来提升草稿质量。这个循环一旦转起来，差距会越拉越大。早期投入数据管道的团队，两年后会甩开对手。

一个反常识的判断

在具身智能里，“慢而稳”往往比“快而炫”更值钱。客户愿意为稳定交付付钱，不愿意为演示效果付钱。速度是门槛，不是卖点。

速度之外，还有一件更重要的事

很多团队把“反应快”当成唯一指标，忽略了“动作可解释”。在工业场景里，客户不仅要知道机器人做了什么，还要知道它为什么这么做。可解释性决定了出问题时能不能复盘，也决定了客户敢不敢把它放进产线。速度让人惊艳，可解释性让人放心。

十二、FAQ：关于机器人推理提速的常见疑问

Q1：VFlash 是模型还是芯片？

是一套推理方法，核心是一个浅层非因果 Transformer 草稿模型，可跑在现有 GPU 上，不是专用芯片。

Q2：12 倍提速是所有任务都能达到吗？

不是。官方表述是“动作解码最高提速 12 倍”，整体机器人推理提升 5.1 倍，具体取决于任务与序列长度。

Q3：误差下降 61% 是怎么算的？

指 3D 轨迹误差的最大降幅，属于特定基准下的结果，换场景后数值会变。

Q4：这套方法能用于自动驾驶吗？

思路可以借鉴。轨迹预测同样是序列生成问题，并行草稿能降低延迟，但车规级验证的门槛远高于实验室。

Q5：普通开发者能复现吗？

论文与基准公开后可复现核心思路，但工程调优依赖大量真机数据，这是差距所在。

Q6：会不会让机器人变得更不可控？

速度提升不改变控制逻辑，安全边界仍由上层规划与急停机制决定。真正的风险是“快到来不及刹车”，所以限速与监控必须同步设计。

Q7：并行预测会不会牺牲动作的平滑度？

草稿阶段可能出现跳点，精修模块负责平滑。实际表现取决于两者的配合，不能只看草稿模型的输出。

Q8：中小企业有机会参与吗？

可以从开源基座加少量自有数据做起，先解决一个具体工位的问题。具身智能的壁垒在场景，不在参数量。

十三、写在最后：具身智能的竞争，正在从“会不会”转向“快不快”

过去两年，人形机器人的叙事是“能不能做”——能不能走路、能不能抓杯子、能不能听懂指令。当这些基本能力逐渐被验证，竞争的重心自然会转向“做得多快、多稳、多便宜”。VFlash 这类工作，正是这条转向线上的产物。

它不惊艳，也不会单独构成一个产品。但它是那种“少了就卡住”的技术：没有它，机器人永远停留在演示视频里；有了它，才谈得上进工厂、进仓库、进家庭。

对从业者来说，值得记住的判断是：具身智能的护城河不在模型参数量，而在“感知—决策—执行”这条链路的端到端延迟。谁能把这条链路压到人的反应速度以内，谁就拿到了下一阶段的入场券。

速度是入场券，稳定是通行证，成本是长期饭票。三者缺一，都走不远。

对国产团队来说，机器人推理的优化空间其实比想象中大：机器人推理的瓶颈常常在数据管道，而不是模型本身；机器人推理的成本可以用缓存与批处理摊薄；机器人推理的稳定性，则取决于最慢的那一环。把这三件事拆开做，机器人推理的整体表现会比换一个更大的模型提升得更明显。