Stable Video Diffusion：开源图生视频

Stable Video Diffusion 是 Stability AI 开源的图生视频模型，一张静态图即可生成数秒短片，可本地部署与微调，适合开发者与研究团队，不适合需要文本控制的长镜头项目。

一、该工具是什么

1.1 一句话定义

Stable Video Diffusion 是英国 Stability AI 在 2023 年 11 月放出的图生视频扩散模型。它的输入只有一张静态图，输出是一段两到四秒、带轻微镜头运动或主体运动的短片。首发一次给了两个规格：SVD 生成 14 帧，SVD-XT 生成 25 帧，训练分辨率为 576×1024 竖版，帧率可在 3 到 30 之间调整。

它不是一个打开网页就能用的成品，而是一套可下载的模型权重加参考实现。权重挂在 Hugging Face，推理代码在官方仓库，社区又补了 Diffusers 与 ComfyUI 的封装。你拿到的是发动机，不是整车：显卡、环境、工作流都要自己准备。这也是它跟 Runway、可灵这类订阅制平台最根本的差别。

2024 年 3 月，官方补了 1.1 版本，仍是 25 帧，但按约 6 帧每秒的条件重新调过，画面更稳，参数不用反复试。截至 2026 年 11 月，公开渠道没有看到这条支线的新基座模型，社区仍在用 1.1 与各种微调版本，它更像一块被反复打磨的旧地基，而不是持续迭代的消费产品。

1.2 它解决了谁的什么问题

第一类是开发者与小团队。要把「图片动起来」做成自己产品里的一个功能，接第三方接口意味着按次付费、受制于对方的限流与审核、素材要传到别人服务器。这套权重可以私有部署，数据不出内网，推理成本换成电费与显卡折旧，量大的时候账算得过来。它解决的是「可控与可嵌入」，不是「效果最好」。

第二类是 ComfyUI 与本地生成的老玩家。手里已经有一套出图流程，用 Midjourney、Stable Diffusion 或三维渲染得到一张满意的画面，想让这张画面轻轻动一下：云飘、水波、镜头缓推、人物眨眼。这类需求用订阅制平台不划算，一条四秒素材要开一个月会员；本地跑一次几分钟，边际成本接近零。

第三类是研究与教学场景。论文要复现、课程要讲扩散模型的时序层、实验室要在开源基座上做微调，权重开放是硬条件。官方模型卡里连训练消耗都写了：约 20 万 A100 小时，约 6.4 万度电。这种透明度在闭源产品里基本看不到，对研究者是好消息。

第四类是电商与设计团队。一个 SKU 拍了六张图，要做十几条信息流素材，传统做法是请摄影棚拍动态、或者后期做假运镜。用这套模型把主图逐张动起来，配合补帧与剪辑，能凑出一批可投放的短素材。它给的是「量」，不是「质感」。

它不适合三类需求。要写一句提示词就改画面内容的，它根本不吃文本；要十秒以上连续长镜头的，它一次只给四秒，拼接处必然跳；年营收超过一百万美元还想商用的，需要另签企业授权。没有显卡、也不想折腾 Python 环境的用户，用它会比用网页工具痛苦得多。

二、基本信息

工具/平台名称	Stable Video Diffusion（简称 SVD，含 SVD-XT 与 1.1 版本）
官网网址	stability.ai
上线时间	2023 年 11 月以研究预览形式发布；2024 年 3 月补充 1.1 版本
产品功能	单图生视频、14 帧与 25 帧两档、3 至 30 帧每秒可调、运动强度与增强噪声参数、本地与云端部署、可微调、可与 Diffusers 和 ComfyUI 集成
所属公司	Stability AI Ltd，总部英国伦敦，2024 年 6 月起由 Prem Akkaraju 出任首席执行官

运行环境是它真正的门槛。官方参考实现基于 Python 与 PyTorch，模型权重几个 GB，推理时显存占用随帧数与分辨率上升。官方给出的基准是 A100 80GB：SVD 约 100 秒一条，SVD-XT 约 180 秒一条。消费级显卡也能跑，但要接受更长的等待与更保守的参数，具体可用性取决于量化方案与解码分块设置。

三、主要功能

3.1 单图生视频

核心能力只有一句话：给一张图，让它动。模型把输入图当作第一帧的条件，预测后续帧，尽量保持主体、构图与色调不变，同时加入镜头推移、云层流动、发丝摆动这类运动。它不认识「猫」这个概念的中文词，只认识像素，所以控制手段是图本身加几个数值参数，而不是提示词。

限制很硬。它不会凭空补出画面外的东西，镜头一推近，边缘就容易糊；主体做大动作，比如人物转身、物体翻滚，结构很快崩。它的甜区是「微动」：静物、风景、产品、氛围镜头。指望它演一段动作戏，返工次数会远超预期。

3.2 两档帧数与 1.1 版本

SVD 出 14 帧，SVD-XT 出 25 帧，按 6 帧每秒算分别是两秒多与四秒出头。帧数多不等于更流畅，25 帧在慢速运动里更完整，在快速运动里反而更容易在中段失真。1.1 版本在 25 帧基础上重训，官方说法是把运动参数调到更稳的区间，减少「前两秒正常、后两秒融化」的情况。

选版本的实用建议：要做循环背景、氛围空镜，14 帧够用，速度快一半；要做镜头推进、产品旋转这类有明确起止的镜头，用 1.1 的 25 帧，稳定性更好。如果你的工作流里还有补帧模型，25 帧的起点更高，补到 24 帧每秒之后抖动更少。

3.3 运动强度与帧率参数

实际调节主要靠三个数：运动桶（motion bucket id）、增强噪声（augmentation level）、帧率。运动桶默认 127，数值越高运动越明显，超过 180 容易让主体变形；增强噪声默认 0，适当加一点能让画面不那么「死」，但会牺牲与原图的一致性。帧率只影响播放速度，不改变生成帧数。

一套稳妥的起点是：静物与产品用 40 到 70 的运动桶，风景与空镜用 100 到 140，想要明显推镜用 150 上下并接受一定失真。同一张图连跑三次，结果差异不小，这是扩散模型的随机性，不是参数没调对。批量生产时要把这一点算进工时。

3.4 本地部署与显存门槛

部署有两条路。一条是官方仓库，按文档装依赖、下权重、跑脚本，适合要改代码的人；另一条是 ComfyUI 的可视化节点，拖一个「SVD 图生视频」节点，接上图片与参数，输出帧序列，适合只想出片的人。两条路用的是同一份权重，效果一致，差别在可控性与调试成本。

显存方面，14 帧版本在 12GB 级别显卡上可以跑，25 帧版本更吃紧，8GB 卡需要量化、分块解码与降低分辨率，速度会掉到不能忍的程度。云端租 A100 或 4090 是常见折中：一次任务几分钟，按小时计费，比买卡灵活。首次部署从装环境到出第一条片子，通常要半天到一天。

3.5 与 ComfyUI、Diffusers 的集成

Diffusers 把它封装成一个管道，几行代码就能加载模型、传入图片、拿到帧列表，适合做批量脚本与服务端。ComfyUI 则把管道拆成节点，图片加载、参数设置、帧合成、编码导出各自独立，能和工作流里的放大、补帧、调色节点串起来。两条路的产出可以互换，前者适合工程化，后者适合手工调。

集成时的坑主要在版本。权重、Diffusers、PyTorch 与 CUDA 之间有对应关系，版本错配的报错常指向显存或张量形状，看着像硬件问题，其实是环境问题。稳妥做法是按官方依赖建独立环境。

3.6 补帧与后期衔接

25 帧按 6 帧每秒播放只有四秒，直接放会有明显卡顿。常见处理是接一个补帧模型，把 25 帧插值到 24 或 30 帧每秒，得到四到八秒的相对顺滑片段，再进剪辑软件做变速、稳定、调色。补帧能改善观感，但不产生新信息，原片里的形变会被一起插值放大。

另一个衔接点是首尾帧。SVD 只锁第一帧，最后一帧不可控，所以它很适合做「从这张图开始」，不适合做「从这张图到那张图」。想让两段素材接得上，得靠剪辑里的叠化、遮挡转场，或者用支持首尾帧的模型另做。

3.7 微调与社区生态

权重开放带来的是二次开发空间。社区有基于 SVD 训练的风格微调与运动微调，也有把它接进自动剪辑流水线的尝试。官方自己也在同一套时序层上做过延伸，2024 年 7 月的 Stable Video 4D 就是把单段视频扩成多视角序列，用于三维重建与素材复用。

微调不是万能。训练需要成对的视频数据与可观的算力，个人用户拿几张图训不出稳定效果；社区权重的质量参差，许可靠不住，商用前要逐个核对。它适合有工程能力、有明确数据集的团队，不适合把「微调」当成解决画质问题的捷径。

四、发展历程

官方没有为这条产品线维护公开版本日志，下表依据公告、模型卡与公开报道整理，时间精确到月，个别只给到季度，仅用于理解演进方向。

时间	事件	影响
2023 年 11 月	Stable Video Diffusion 以研究预览发布，同时放出 14 帧与 25 帧两个权重	开源社区第一次拿到可本地跑的图生视频基座
2024 年 3 月	发布 1.1 版本，针对 25 帧模型的运动一致性重训	减少参数试错，成为后续社区工作流的默认起点
2024 年 6 月	Prem Akkaraju 出任首席执行官，公司转向专业创意与娱乐行业	产品重心从通用模型发布转向企业与品牌场景
2024 年 7 月	推出 Stable Video 4D，把单段视频扩展为多视角动态序列	把时序能力延伸到三维与素材复用
2025 年 7 月	据第三方工具库记录，官方此前的视频接口停止提供	获取方式收窄为自部署与第三方托管，官方未做长期公告
2026 年 4 月	上线 Brand Studio，面向企业提供品牌创意生产平台	商业化路径从卖模型转向卖生产流程
2026 年 8 月	完成 7600 万美元 B 轮，累计融资 2.32 亿美元	投资方含艺电、索尼音乐、环球音乐、华纳音乐与 AMD 风投

把这条线连起来看，会发现一个反差：模型在 2023 年底就到顶了，公司却在 2024 年之后越走越远。SVD 的技术贡献是把图像扩散模型的 latent 空间加上时序层，证明用大规模视频数据可以训出稳定的短片段；但四秒、无文本控制、576×1024 这三条硬约束，在 2025 年之后的开源竞品面前已经不够看。阿里 Wan、腾讯混元、Genmo 的 Mochi 都把时长、分辨率与文本控制补上了。

所以它今天的定位更像「教材与基座」，而不是「首选工具」。教学上它干净、文档全、显存门槛低，适合讲清楚图生视频的原理；工程上它稳定、许可清晰、社区封装成熟，适合做内部工具的第一版。真正要出片，多数人会选更新的开源模型或直接买订阅服务。这个位置不丢人，但别对它有过高期待。

五、核心优势

5.1 权重开放，数据不出内网

所有推理都能在自有机器上完成，输入图不上传、输出帧不外流。对处理未上市产品图、客户素材、医疗与工业图像的团队，这一条比画质重要。私有部署还意味着没有排队、没有临时限流、没有对方改规则你就得改流程的风险。

它不擅长需要持续运维的场景。环境、驱动、显存、模型版本都要自己管，出了问题没有客服。所以对你意味着：要么有一个人能兜住工程，要么老老实实买云服务。

5.2 软件免费，算力自付

权重本身不收费，研究与非商用随便用，年营收低于一百万美元的商业使用也在社区许可范围内。成本结构因此极其透明：一次性显卡投入，或者按小时租 GPU。跑一百条素材和跑一条素材，单价几乎一样，只有电费与时间在变。

它不擅长小批量。一个月只做两条片子，买卡的钱够订阅好几家网页工具。所以对你意味着：用量是决策的核心，量大才划算，量小别硬上。

5.3 生态成熟，封装齐全

从官方仓库到 Diffusers 到 ComfyUI，三层封装都在，前人的工作流、报错记录、参数经验在网上能搜到。这意味着你不需要从零理解论文，照着现成节点就能跑通第一条。对一个两年前发布的模型，这种生态厚度是稀缺资源。

它不擅长开箱即用。ComfyUI 的节点连线、Python 的依赖冲突，对非技术用户仍是门槛。所以对你意味着：愿意花半天学，它很顺；想十分钟出片，它不是给这类人准备的。

5.4 许可清晰，商用边界可算

社区许可把商用门槛写成了一条可量化的线：年营收一百万美元。低于这条线，商业项目可以直接用；高于这条线，走企业授权。相比很多开源模型「权重开放但许可含糊」的状态，这条线让法务能给出明确结论，项目立项时不用猜。

它不擅长覆盖大企业。营收过线后授权需单独谈，价格不公开。所以对你意味着：小团队放心用，大公司先走采购流程，别默认「开源等于免费商用」。

5.5 参数少，结果可预期

没有提示词，就没有「提示词写得对不对」这个变量。影响结果的只有输入图、运动强度、噪声与帧率四个因素，调参空间小，重复实验的方差也小。对要把它嵌进流水线的人，这种「傻」反而是优点：输入可控，输出就不会突然跑偏。

它不擅长表达意图。你没法说「让镜头从左边绕到背面」，只能试。所以对你意味着：它适合把已经想清楚的画面动起来，不适合让它替你做导演。

六、如何使用

它没有注册流程，也没有账号体系。从零到第一条片子，路径是「确认硬件、装环境、下权重、跑通脚本、换成自己的图」五步。下面按 ComfyUI 这条最省心的路走，纯代码路线只需把第三步换成库调用。

确认硬件。看显卡型号与显存：12GB 以上跑 14 帧版本比较轻松，16GB 以上再考虑 25 帧。硬盘留出二十 GB 给环境与权重，系统建议 Linux 或 Windows 配新驱动。这一步决定后面所有参数的上限，别跳过。
装运行环境。装 Python 与对应的深度学习框架，再装 ComfyUI。用官方或社区维护的一键包能省掉大半依赖问题，手动装的话注意框架版本与显卡驱动匹配，报错多半出在这里。全程大约半小时到两小时。
下载权重。到 Hugging Face 的模型页接受许可、下载对应检查点，放进 ComfyUI 的模型目录。14 帧与 25 帧是两个文件，1.1 是第三个，按需下载。文件几个 GB，网速决定等待时间。
搭一条最小工作流。加载图片节点接「SVD 图生视频」节点，再接到视频合成节点。先只填三个参数：帧数、运动桶、帧率，其他保持默认。第一次跑用一张 576×1024 的图，别用超大图，显存会先炸。
跑第一条。点执行，等待。A100 上一两分钟，消费卡上五到十五分钟都正常。看控制台有没有显存溢出，溢出就把解码分块调小、分辨率降一档。
换成自己的图。把输入图换掉，保持参数不变再跑一次，对比差异。同一张图连跑三次，挑最好的一条。这个「抽三次」的习惯要早养成，单次结果不能代表模型水平。
导出与后期。把帧序列按 24 或 30 帧每秒封装，接补帧、稳定、调色，再进剪辑软件。导出格式用通用的 AVC 或 HEVC 编码，码率按发布平台要求给。

新手最容易犯两个错。一是拿构图很满、主体很大的图去跑，模型没有运动空间，出来几乎是静止的，还以为是参数不对；正确做法是选有留白、有前后景层次的图。二是把运动桶拉到两百以上追求「动感」，结果主体扭曲，反而不能用。先用中间值跑通，再往两边试。

七、使用教程

7.1 案例一：耳机产品图做四秒循环空镜

目标。一张白底耳机产品图，做成四秒、可无缝循环的暗调空镜，用于独立站首屏与信息流素材，要求产品结构不变形、logo 不糊、有缓慢的呼吸感光影。

素材准备。原图是纯白背景，直接喂进去运动幅度极小。先在图生图工具里换成深灰渐变背景，给产品右侧加一道柔光，画面留出上方与右侧空间，导出 576×1024。构图留白是这段素材能不能动起来的前提。

输入与参数。这套模型不吃文本，所谓「提示词」其实是图像描述与参数清单，照着填即可。

输入图：耳机四分之三视角，深灰渐变背景，右侧柔光，顶部留白约三分之一
帧数：25（SVD-XT 1.1）
分辨率：576×1024
运动桶：55
增强噪声：0.02
帧率：6
解码分块：2
随机种子：固定为 2024，便于对比不同参数

结果评估。第一版的问题是光影变化太弱，看起来像一张静图加了轻微噪点。把运动桶提到 85、噪声提到 0.05 后，高光开始沿耳罩边缘缓慢滑动，有了「呼吸」的感觉。第二个问题是四秒结尾接不上开头，循环会顿一下。解决办法是导出后做首尾交叉叠化，或者干脆剪成三秒、把最后一帧去掉。

返工点。最费时间的是 logo。产品上的字在第七帧之后开始发虚，这是模型的已知短板，它渲染不了清晰文字。可行的处理是把 logo 区域在后期用原图做遮罩贴回，或者选一个 logo 不在正面的角度。整条素材从换背景到导出约两小时，其中一半在试运动桶。

7.2 案例二：科幻走廊场景做镜头推进

目标。一张概念场景图，做成四秒的缓慢推进镜头，作为短片开场；要求透视关系稳定、灯带不闪烁、末端有微弱的雾流动，之后补帧到 24 帧每秒并接上下一镜。

素材准备。原图是 16:9 横向构图，需要先裁成 9:16 或改用横版参数。走廊这类强透视线条对模型很友好，因为它只需要沿着消失点做缩放，不需要重构物体。把画面两侧压暗，能减少边缘畸变被注意到的概率。

输入与参数。推进感靠运动桶与输入图的透视共同决定，参数比静物更激进。

输入图：金属走廊，单点透视，尽头有冷蓝灯带，地面有反光
帧数：25（SVD-XT 1.1）
分辨率：576×1024 竖版（由横版居中裁切）
运动桶：145
增强噪声：0.01
帧率：7
解码分块：1
随机种子：先固定跑三条，再挑一条改种子

结果评估。三条里通常只有一条能用。失败的两条表现为末端灯带融化、地面反光抖动。成功的一条推进感明确，但四秒只走了大约两米，接下一镜时会显得慢。处理方式是在剪辑里做一次速度斜坡，把最后半秒加速，或者用两段不同运动桶的素材叠化。

返工点。补帧是第二个坑。25 帧补到 24 帧每秒需要插值约四倍，插值模型会把灯带的轻微闪烁放大成滚动条纹。改法是先做轻度降噪，再补帧，最后加一层细颗粒掩盖。整段从裁图到补帧完成约三小时，其中补帧与降噪反复了两轮。经验是：强光源、细线条、镜面反射三种元素同时出现时，先降期望，再谈参数。

八、价格优惠

它没有订阅费，账单分三块：权重（免费）、算力（自付）、授权（看营收）。下表按公开信息整理量级，硬件与云服务价格随市场波动，具体以各服务商与官网实时价格为准。

方案	价格量级	包含什么	适合谁
社区许可	0 元	权重与代码，研究、非商用、年营收低于一百万美元的商用	个人创作者、早期团队、教学
自有显卡	一次性数千元人民币起	24GB 显存级别的消费卡，电费另计	长期高频使用、数据敏感
云 GPU 租用	消费卡每小时数元，专业卡每小时数十元	按小时计费，含环境镜像	偶发使用、临时跑量
企业授权	需询价	营收超线后的商业使用许可	中大型企业、商业发行
第三方托管接口	按次或按秒，各家不同	免部署，直接调用	只想集成、不想运维

怎么买最省。一是先租后买。用云 GPU 跑二十条，记录单条平均耗时，再拿这个数去算自有显卡的回本周期，比拍脑袋买卡靠谱。二是把调试和出片分开：调参阶段用 14 帧、低分辨率、少步数，确认构图与运动方向后再用 25 帧重跑，能省掉大半算力。三是错峰租用，云厂商的竞价实例价格波动明显，批量任务放夜间更划算。

按条估算更接近真实成本。一条四秒素材在消费卡上约五到十五分钟，在专业卡上一到三分钟；一个十秒的镜头通常需要两到三段素材拼接，加上每段平均跑三次，实际是一条成片消耗六到九次推理。真正贵的不是模型，是你的试错次数。把种子、参数、输入图记在表格里，返工时能直接复现，这一条比任何省钱技巧都有效。

九、最新动态

融资与转向。2026 年 8 月 25 日，Stability AI 宣布 7600 万美元 B 轮融资，累计融资达 2.32 亿美元，投资方包括艺电、索尼音乐、环球音乐、华纳音乐与 AMD 风投。官方表述的重心是「为专业创意人做工具」，覆盖音乐、游戏与娱乐，而不是继续堆通用视频模型。

产品重心。2026 年 4 月，官方上线 Brand Studio，把图像、音频与视频生成打包成企业品牌生产平台；5 月发布 Stable Audio 3.0，主打全授权数据训练。同期公开的视频相关消息明显减少，社区讨论集中在音频与图像支线。

获取方式收窄。据第三方工具库记录，官方此前提供的视频接口已于 2025 年 7 月停止服务，官网未见长期说明。这意味着现在要用它，只有自部署或找第三方托管两条路，早期「注册就能在线试」的入口基本关闭。

基座未见更新。截至 2026 年 11 月，公开渠道没有看到 SVD 新基座发布的公告，1.1 仍是最新官方检查点。社区微调与小工具仍在更新，但能力边界没有变化：四秒、无文本控制、576×1024。选型按这个边界判断，别期待下一版会解决。

十、竞品对比

开源图生视频这条线上，2024 年之后出现了几个更能打的对手。下表按公开资料整理，权重与许可以各官方仓库为准，采购前请自行复核。

维度	Stable Video Diffusion	Wan 系列	HunyuanVideo	Mochi 1
开发方	Stability AI	阿里	腾讯	Genmo
输入方式	仅图片	文本、图片	文本、图片	仅文本
权重开放	开放，社区许可	开放，Apache 2.0 为主	开放，社区许可	开放，Apache 2.0
典型输出	576×1024，2 至 4 秒	最高 720p 级，约 5 秒	720p 级，约 5 秒	480p 级，约 5 秒
文本控制	不支持	支持	支持	支持
显存门槛	较低，12GB 可起步	中高，24GB 更稳	高，需量化或大显存	中，24GB 可跑
生态成熟度	高，教程与封装最多	高，更新活跃	中高	中

维度	Stable Video Diffusion	Wan 系列	Runway	Luma
计费模式	免费权重加自付算力	免费权重加自付算力	订阅制，按月	订阅制，按月
入门成本	0 元起，需显卡	0 元起，需显卡	每月十几美元量级起	每月十几美元量级起
商用条款	营收百万美元以下可商用	宽松，按仓库许可	按订阅条款	按订阅条款
控制手段	参数与输入图	提示词加图片	提示词、图片、运镜	提示词、图片、关键帧
适合场景	私有部署、教学、微动空镜	通用开源出片	商业短片、快速迭代	氛围镜头、广告预演