李飞飞的世界模型跑进浏览器，单图实时15帧

李飞飞团队在 11 月 8 日放出研究预览 Frameboy：一张图、一句话，就能在浏览器里生成一个可以自由转镜头、实时跑起来的三维场景，帧率最高 15 帧。这一步的意义不在于画面更漂亮，而在于世界模型第一次从“生成一段视频”变成了“交给你一个能走进去的空间”。

一、Frameboy 到底是什么：三个可验证的变化

先把概念和事实分开。World Labs 这次发布的是一个研究预览 Demo，底层是推理优化过的 Atlas 模型，通过云端串流把画面推到浏览器里。用户可以像玩第一人称游戏一样拖动视角，场景会实时补出新的画面。

变化一：从“插值”到“补全”

去年同类的 RTFM 只能在已有视角之间做插值，相当于给你几张照片，让你在照片之间平滑过渡。Atlas 走的是另一条路：给一张图或一段文字，它能推断出镜头之外还有什么，并生成从未被拍摄过的新视角。这是世界模型和视频模型的根本差别——前者要有空间概念，后者只需要时间上的连贯。

变化二：15 帧，跨过“能交互”的门槛

15 帧对影视来说远远不够，但对交互来说已经可用。人眼对交互延迟的容忍度大约在 100 毫秒量级，帧率低于 10 帧时，转镜头会有明显的顿挫感；到 15 帧，虽然谈不上顺滑，但“我在控制它”的感觉成立了。世界模型从演示走向产品的分水岭，往往就是这条体感线。

变化三：浏览器里跑，不用装引擎

云端串流意味着终端不需要显卡。对内容团队来说，这决定了它能不能被非技术岗位使用——策划、导演、客户都能直接打开链接转一圈，而不是先配一台工作站。分发的门槛降低，往往比能力提升更能带来使用量。

二、三条技术路线的横向对比

对比维度	三维重建路线	视频生成路线	实时世界模型
输入	多角度拍摄或扫描	文字、图片	单图或一段文字
产出	静态三维场景	固定镜头视频	可自由移动的场景
视角自由度	受拍摄范围限制	基本没有	可连续改变机位
未见区域	缺失或破洞	不涉及	由模型推断补全
实时性	渲染快，但交互弱	生成慢，不可交互	最高 15 帧串流
典型用途	房产、文保、电商展示	广告、短剧、社交内容	游戏预演、机器人训练、空间设计

三條路线不是替代关系，而是覆盖不同需求。重建追求“还原真实”，视频生成追求“讲清一个镜头”，世界模型追求“让空间可以被探索”。真正会被挤压的，是那些既需要空间感、又只能靠手工建模的环节，比如游戏白盒和影视预演。

三、为什么“可交互”比“更清晰”更重要

清晰度是线性的，交互性是指数的

把分辨率从 720p 提到 4K，观众的感知提升是线性的；把“只能看”变成“可以转”，可做的事情会指数级增加。同一套场景，策划可以自己找机位，导演可以现场改构图，机器人团队可以拿它做仿真环境。能力一旦可交互，就会被复用到完全不同的行业。

世界模型卖的是“空间记忆”

视频模型没有记忆，每一帧都是重新画的，所以镜头一转，桌子上的杯子可能就消失了。世界模型必须维持一个隐式的空间状态：这个房间有多大、门在哪个方向、光从哪边来。它生成的每一帧都要和这个状态自洽。这种“记得住空间”的能力，才是它和视频模型的真正分界。

一个容易被忽略的难点：长时一致性

走两步没问题，走二十步呢？转一圈回到原点，墙上的画还在不在原位？实时世界模型目前最大的工程难题不是单帧画质，而是长时间探索后的场景漂移。Demo 通常只展示十几秒的优雅路径，真实使用中用户会乱走、会回头看、会贴着墙走。

这决定了它先在哪里落地

短期不会进 3A 游戏，因为玩家会把每个角落都翻一遍。但很适合做预演、做提案、做静态展示——这些场景的探索范围可控，瑕疵不容易被放大。

也决定了它的定价方式

按分钟串流计费，而不是按生成次数计费。交互时长取代生成条数，成为成本单位，这是所有实时生成类产品的共同走向。

四、它和机器人、自动驾驶的关系

世界模型最被低估的用途，是给具身智能造训练场。真实机器人采数据贵、慢、危险，仿真环境又常常“太假”，导致策略迁移到现实就失效。一个能根据单张照片生成可交互场景的模型，等于把“造场景”的成本压到接近零。

对自动驾驶也是同理。罕见场景（暴雨、夜间施工、异常加塞）在真实道路上难以复现，用世界模型合成可控的极端情况，是当前业界公认的方向之一。它不需要像素级真实，只需要物理上说得通。

但别高估：仿真和现实之间仍有一道沟

模型生成的场景，物理规律是“看起来对”，不是“算得对”。摩擦力、碰撞、材质响应这些参数，仍然需要真实引擎提供。所以短期内它更像“场景素材生成器”，而不是“物理仿真器”。把两者混为一谈，会在工程上踩坑。

五、AMD 的 82 亿美元，买的是什么

今年 9 月，AMD 宣布以 82 亿美元全股票收购 World Labs，李飞飞将出任 AMD 执行副总裁兼首席科学家。这笔交易放在今天看更容易理解：世界模型是少数能把算力吃干榨净的应用形态，实时串流对显存带宽和推理调度的要求，远高于一次性的视频生成。

芯片公司买模型团队，买的不是模型本身，而是“知道自己芯片该怎么改”的人。谁掌握了下游最吃算力的工作负载，谁就能在下一代架构上少走弯路。这条逻辑和当年云厂商自研芯片如出一辙。

对创业者的启示

如果你在做应用层，别指望靠“调模型”建立壁垒。这一层的竞争，最终会落在三件事上：单位时间的推理成本、长时一致性、以及有没有独占的场景数据。前两件靠工程，第三件靠行业深耕。

还有一件容易被忽略的事：分发。世界模型的体验高度依赖网络与终端，谁能把延迟压到最低、把入口放到最多人顺手的位置，谁就更容易形成习惯。技术领先六个月，不如入口领先一个习惯。

至于 82 亿美元这个价格贵不贵，取决于你用什么尺度衡量。按收入算，它显然不便宜；按“买到一支能把实时生成跑通的团队”算，在算力竞争最激烈的时点，这个价格反而是合理的。芯片行业的并购从来不是买当下利润，而是买未来三年的路线图。

六、普通人什么时候能用上

目前实时能力已经接入 Viewfinder 封测，属于小范围邀请。按同类产品的节奏，从研究预览到公开可用，通常要经过三轮：先开放给创作者做内容，再开放给企业做工具，最后才做消费级入口。每一轮都会暴露新的问题，尤其是成本与稳定性。

可以提前准备的三件事

• 素材资产化：把产品、空间、场景拍成高质量单图，未来这就是生成场景的“种子”。
• 流程试跑：先在提案环节用它替代部分建模，看看客户反应，而不是一上来就改生产管线。
• 人才盘点：需要的是既懂空间叙事、又能判断模型输出好坏的人，这类人目前极少。

七、它会被谁先用起来：三个行业的具体账

游戏与影视的预演环节

一部剧或者一个关卡，在正式投入制作前都要做“白盒”：用最简单的几何体摆出空间关系，确认走位、机位、节奏。这个环节过去靠三维软件手工搭，一个中等复杂度的场景要几天。用世界模型，策划拍一张参考图，十分钟内就能走进去看一眼，不合适再换一张。

它替代的不是建模师，而是“第一版草稿”的时间。而第一版草稿恰恰是项目里最容易被推翻、又最不得不做的东西。省掉这部分，等于把试错成本从人力密集变成了算力密集。

空间设计与家装

家装行业最痛的一环是“客户看不懂图纸”。设计师讲半天动线，客户点头，施工完才发现不对。能实时走进去的场景，把沟通成本直接砍掉一半。设计师可以当场改墙、改窗、改灯光，客户即时看到结果。这类需求高频、决策链短，是最容易付费的场景。

机器人与自动驾驶的训练场

前面提过，这里补一层经济账：真实采集成百上千小时的数据，成本以百万计；合成场景的边际成本接近于零。只要合成数据能把策略的成功率提升几个百分点，这笔投入就划算。难点在于评测——怎么证明合成数据没有把模型带偏，目前行业还没有统一答案。

八、实时生成的商业模型：按分钟卖，还是按场景卖

世界模型的成本结构和视频生成完全不同。视频生成是“一次生成、一次付费”，世界模型是“持续串流、持续占算力”。用户在里面待十分钟，云端就要为他保持十分钟的实时推理。这意味着它的定价天然是按时长走的。

计费方式	计价单位	适合的客户	风险
按分钟串流	使用时长	探索型用户、试用期	长时间停留导致成本失控
按场景生成	场景数量	内容团队、设计公司	客户倾向于反复重生成
按席位订阅	账号数	企业客户	重度用户拉高平均成本
按项目打包	项目	影视、地产、展陈	需求边界容易失控

这四种模式大概率会长期并存。原因很简单：实时生成的边际成本不为零，纯订阅会被重度用户拖垮；而纯按量计费又会劝退想试水的客户。真正跑得通的，通常是“订阅含基础额度 + 超额按分钟”的组合。

延迟就是成本

实时串流对延迟极其敏感。为了把延迟压到可交互的范围，厂商必须做大量工程优化：模型蒸馏、缓存复用、就近部署。每一层优化都在烧钱。所以早期价格一定不便宜，只有等推理成本下降、并发密度提高，才会出现“普通人也能随便用”的价格。

九、三盆必须泼的冷水

第一盆：训练数据的版权还没说清

能从一个场景推断出整个空间，前提是见过大量真实的房间、街道、建筑。这些数据从哪来、有没有授权、生成结果算不算衍生作品，目前都没有统一答案。商用之前，这是绕不开的一关。

第二盆：“看起来对”不等于“物理对”

模型补出来的墙面、地板、光影，符合人的视觉经验，但不符合工程参数。拿它做视觉预演没问题，拿它做结构计算、做碰撞检测，会出事。分清“感知真实”和“物理真实”，是使用者的基本素养。

第三盆：交互越自由，暴露的问题越多

固定镜头的视频，导演只让你看他想让你看的部分。自由探索的场景，用户会走到墙角、会贴近地面、会盯着一个物体转三圈。每一个未被训练覆盖的视角，都是一次穿帮的机会。这也是为什么它先出现在“有人引导”的场景里，而不是完全开放的消费级产品。

15 帧在浏览器里意味着什么

把“实时世界模型”跑在浏览器里，工程难度被大多数人低估了。云端要在一帧的时间里完成场景状态更新、视角变换、画面生成、编码推流，任何一环慢了，用户就会感到卡顿。

延迟被拆成了四段

网络往返、推理计算、画面编码、终端解码，四段加起来才是用户感知的延迟。模型再快，如果编码和传输拖后腿，体验一样糟糕。这也是为什么这类产品必须做“就近部署”——物理距离直接决定延迟下限。

画质与帧率是一对矛盾

同样的算力，给画质就少给帧率，给帧率就少给画质。15 帧意味着它选择了“能动”，而不是“好看”。这个取舍很诚实：先让用户相信自己在控制一个空间，再慢慢把画面做精细。

这也是它能进浏览器的原因

如果追求电影级画质，就必须在本地跑重模型，那它只能服务专业用户。选择云端串流 + 中等帧率，才能让一个链接被任何人打开。产品定位决定了技术取舍，反过来也成立。

一个常被问到的疑问：为什么不做 30 帧

因为算力成本和延迟都会翻倍。实时生成不是“渲染一帧”，而是“持续渲染并推流”，帧率翻倍意味着云端成本翻倍、带宽翻倍、终端解码压力翻倍。在产品还没验证需求之前，把帧率做到 30 帧是不划算的。先用 15 帧验证“用户是否愿意在里面待着”，再决定要不要加码，这是更理性的顺序。

十、FAQ：关于世界模型与 Frameboy 的常见疑问

Q1：Frameboy 现在公开可用吗？

目前是研究预览 Demo，实时能力接入 Viewfinder 封测，尚未全面开放。

Q2：15 帧会不会太卡？

对影视级观看不够，对交互探索够用。它的定位是预演与展示，不是替代游戏引擎。

Q3：一张图真的能补出整个场景？

能补出合理推断的部分，但推断不等于真实。镜头背后的细节由模型“想象”，用于创意可行，用于取证不行。

Q4：世界模型和视频生成模型有什么本质区别？

视频模型保证时间上的连贯，世界模型保证空间上的自洽。前者让你看完一段，后者让你走进一个地方。

Q5：它会取代三维建模师吗？

短期不会。它擅长快速生成“看起来对”的场景，精细资产、拓扑、绑定仍需人工。更可能的分工是：模型出草稿，人做精修。

Q6：为什么芯片公司要买这类团队？

实时生成是最吃算力的负载之一。掌握这类工作负载，等于掌握了下一代芯片设计的输入。

十一、写在最后：从“生成内容”到“生成空间”

过去三年，我们习惯把 AI 理解为“内容生产工具”：写文章、画图、剪视频。世界模型把这件事往前推了一步——它生产的不再是内容，而是承载内容的容器。容器一旦可交互，内容的生产方式、消费方式、甚至商业模式都会跟着变。

但也要保持克制。15 帧、封测、单图推断，这些词都在提醒我们：它现在还是一个能跑的研究原型，不是成熟产品。真正值得关注的，不是它今天能生成多漂亮的画面，而是它把“造一个空间”的成本，从几周压到了几分钟。成本曲线一动，行业结构迟早会跟着动。

对内容行业的人来说，最实际的准备不是学新的软件，而是重新理解“镜头”这件事。当空间可以被任意探索，导演的工作就从“选择拍哪里”变成“设计哪里有东西可看”。这是一次叙事权力的转移，也是一次新的机会。

回到最初的问题：它今天能做什么？答案是——让你先看见，再决定要不要建。这份“先看见”的能力，已经足够改变一个项目的启动方式。