21 KiB
14｜什么时候用文生视频，什么时候用图生视频
返回知识库目录 · 配套：ComfyUI 工作流搭建 · 配套：AI 转译与模板
先问“这个镜头必须保持什么、允许模型发挥什么”，再选择输入模式。文生视频与图生视频是不同的约束入口，不是低级与高级的区别。本章的选择树、实验表和原创示例是本手册的方法建议；产品能力只在所引用的模型与版本语境内成立。资料核查：2026-10-29。本次未运行新视频来测量这些建议的成功率。
1. 模式、模型、平台与工作流不是同一件事
| 层面 | 它决定什么 | 例子与容易混淆的地方 |
|---|---|---|
| 输入模式 | 用哪些材料约束生成 | T2V 用文字；I2V 用图与文字；首尾帧同时约束两个时刻 |
| 模型及检查点 | 学到了什么、支持哪些输入、怎样推理 | 同一家族可有不同任务权重；名称相似不等于互换 |
| 平台或服务 | 通过什么界面、API、账号能力使用模型 | 网页支持的功能不一定在同名 API 或本地版本中提供 |
| 工作流 | 怎样加载模型、处理输入、采样、解码和保存 | 多接一个图片节点，不代表 T2V 权重自动变成 I2V |
| 制作流程 | 一个镜头先做什么、后做什么 | 文生图→图生视频是两阶段流程，不是“纯文生视频” |
以公开权重 Wan2.2 为例，官方分别列出 T2V-A14B、I2V-A14B，以及兼容两种任务的 TI2V-5B；Comfy 官方也提供对应模板。选择流程时，应确认具体权重与节点怎样接收图片，不能只根据文件名里有“Wan”就接在一起。Wan 官方模型表、Comfy Wan2.2 模板说明
2. 常见模式各自负责什么
| 路径 | 主要输入与职责 | 适合先解决的问题 | 不能由它单独保证 |
|---|---|---|---|
| 文生视频 T2V | 文字描述主体、空间、外观和运动 | 探索还没确定的画面与动态、可自由变化的空镜 | 同一角色跨镜身份、精确构图与复杂物理 |
| 图生视频 I2V | 一张图约束特定画面状态，文字描述随后变化；不少产品把它作为首帧 | 已有认可构图、服装、角色与场景，希望使其动起来 | 完整三维结构、背面细节、动作全过程和后续身份 |
| 文生图→图生视频 | 先独立制作并批准静帧，再送入视频模型 | 先审核角色与构图，再投入运动生成 | 静帧好看不代表姿势可运动；多一步也不必然省钱 |
| 首尾帧 FLF / 插值生成 | 开始与结束图约束两端，文字说明需要的转变 | 到达明确终点、物件状态变化、可规划的转场 | 中间沿哪条路线走、是否真的接触、速度与因果合理 |
| 参考图 / 多参考生成 R2V | 图可能约束角色、物件、风格或场景，而不是直接作为首帧 | 需要固定元素，又不想沿用参考图原构图 | 每张参考自动分工、多个角色自动不混淆 |
| 参考视频生成 | 视频提供身份、动作、镜头或风格等参考，职责取决于模型 | 已有想借用的运动节奏、表演或角色动态资料 | 逐帧精确复制，或原片里的主体全部得到保留 |
| 视频生视频 V2V / 视频编辑 | 现有视频作为被变换或编辑的基础 | 已有可用行动和路线，需要换外观、环境或局部内容 | 只改目标区域而绝不影响其余像素，或所有帧都稳定 |
| 姿态、深度等条件控制 | 把指定结构或随时间变化的控制序列交给兼容模型 | 骨架运动、空间深度、轮廓、受控路线 | 身份、衣物、接触、遮挡和全部物理自动正确 |
| 视频延长 / continuation | 使用已有片段或尾部状态继续生成 | 在已有运动基础上续接下一个行动阶段 | 可以无限延长而不累积身份、空间与节奏偏差 |
这些模式会重叠。例如一个流程可以同时用首帧、角色参考和动作视频。关键不是术语有几个，而是每份输入究竟做什么。
Runway 的 Gen-4.5 图生视频指南明确把输入图作为首帧，并把文字主要用于运动；但 Comfy 的 Wan VACE 文档把一类图片输入称为 reference-to-video。Google Gemini Omni 文档也区分首帧、尾帧、主体参考和视频参考。因此，看到界面上的“上传图片”按钮时，应先查它是首帧、参考，还是待编辑素材。Runway I2V 指南、Comfy VACE 示例、Google Omni 输入职责
3. 一棵按镜头任务选择的决策树
已经有一段行动、运镜或节奏基本合格的视频吗？
├─ 有：希望保留这段运动，只改变特定内容？
│ ├─ 是：先研究兼容的 V2V / 局部视频编辑
│ └─ 否：把视频明确标为动作、相机或身份参考，研究参考生成
└─ 没有：这个镜头的角色外观或起始构图必须精确保持吗？
├─ 是：先确认静帧是否合格、姿态是否允许随后动作
│ ├─ 合格：试 I2V；需要明确终点时再考虑首尾帧
│ └─ 不合格：先修图、重构图或制作新的起始帧
└─ 否：主要是在探索画面或运动，可以接受外观变化吗？
├─ 是：先试 T2V，保留有价值的动态与构图方案
└─ 否：先建立必要参考，再选支持其职责的生成方式
无论选哪一路：动作时序或空间路径是否必须受控？
├─ 是：补动作预演、视频参考、姿态 / 深度等条件，或重新设计覆盖
└─ 否：先用较简单输入测试，再逐项增加约束
这是一种决策起点，不是自动路由程序。例如有参考图，但图中人物背对相机、遮住了后续需要使用的手，就不宜因为“已经有图”而直接生成交接动作。应先补可执行的静帧或动作方案。
4. 文生视频何时值得优先尝试
画面尚未定型。 你想比较几种风、雨、物体运动或摄影机路线，让模型同时提供视觉与动态方案。此时先做一张高度精修的静帧，反而可能过早锁住还需要探索的构图。
镜头不依赖精确身份。 例如陌生城市的远景、无人走廊、海面与云层。但“空镜”也可能有必须连续的建筑与光线；如果下一镜需要认出同一扇门，它就不能再随意生成。
想先找到运动方案。 对某些镜头，可以先用 T2V 做粗糙动作实验，选出清楚的行动阶段，再建立固定角色的静帧或参考流程。不要把探索版中偶然出现的脸和服装当作已经完成资产设计。
Runway 当前 T2V 指南将可见内容与运动列为两类基本描述。这支持“没有图片时，文字还要交代看到什么”的写法；不意味着 T2V 必须写满所有摄影名词。Runway T2V 指南
5. 图生视频何时更有价值
起始画面本身就是交付要求。 比如已经批准的人物服装、产品摆放、双人构图或某个分镜关键帧。先对这张图完成审批，能把“外观不对”和“运动不对”分开诊断。
连续剧需要反复认出同一个人或场景。 适合先建立角色参考与各机位静帧，再生成对应镜头；其中每个新静帧都需要检查身份、光源、站位与视线，不能把同一张正面照重复喂给所有机位。
构图经过导演选择。 关键线索应在桌面哪里、门框遮住谁、哪个人更接近出口，这类关系可以先在静帧上检查。若首帧已经把关键物件裁掉，视频文字让它“自然露出”可能需要模型补造原先看不到的空间。
输入图的优势来自提供明确视觉依据；它也会把错手、透视矛盾、假文字与不合理姿势带入运动。Runway 的 I2V 指南特别提醒输入图的视觉瑕疵可能随视频被强化。先修起始状态通常比不断重抽同一张问题图更可诊断，但是否更省成本要实际记录。Runway I2V 指南
6. 按镜头类型选择，不按整部剧只选一种
下面是本手册的优先试验方向；实际结果应在你使用的模型、工作流和硬件上比较。
| 镜头任务 | 优先试验 | 为什么这样选 | 若失败，怎样换路 |
|---|---|---|---|
| 同角色的普通对话近景 | 审核角色与机位静帧后 I2V，或支持身份参考的生成 | 先固定脸、服装、视线与构图 | 先排查参考和表演节拍，再比较另一模型或音画分工 |
| 双人对话与递物 | 先做站位与接触预演，再试双人 I2V 或兼容控制 | 既要认出人，也要让两人的手与物件发生明确关系 | 用有功能的覆盖或控制视频保留交接证据，不只追求脸稳定 |
| 不需跨镜认出的氛围空镜 | T2V 与 I2V 都可小样比较 | T2V 探索动态；I2V 可保留已批准的建筑与构图 | 建筑需连续时补场景资产，不把随机变化当艺术表达 |
| 产品、服装或道具展示 | 已批准图或真实素材作为参考；必要时 V2V / 合成 | 外形、位置与标识往往比自由发挥更重要 | 对尺寸、文字或几何要求高时保留真实 / 3D 底稿，别依赖纯生成保证 |
| 打斗、舞蹈、复杂身体接触 | 先动作预演，再评估视频参考、姿态控制、I2V 等 | 起始画面不能提供整段动作时序 | 简化并发动作或重设覆盖；不能只把静帧再精修一遍 |
| 主体转身、相机大幅环绕 | 多视角资产、3D 预演或可用参考；再比较生成模式 | 单张图的背面与遮挡后空间没有完整证据 | 减小未见区域的补造量，补视图或换拍法，并记录创作代价 |
| 必须到达明确终点的转场 | 首尾帧或兼容关键帧流程 | 同时给出两端状态 | 若中间靠融化完成，补中间行动、改两端图或改为剪辑转场 |
| 已有动作正确，只想换景或局部内容 | 兼容的 V2V / 视频编辑 | 尽量利用已有时间与运动结构 | 检查被保留部分是否真的保留；可缩小编辑范围 |
| 长镜与连续路线 | 先预演完整地理与阶段，再选控制或分段续接 | 难点是持续的空间、遮挡和运动状态 | 在有动机的切点分段；逐段复查，不无限沿用退化尾帧 |
原《备用钥匙》片段可以混合处理：双人开场先批准 I2V 起始帧；钥匙细节先明确手与桌面状态；递伞镜头先验证握稳、松手的动作；出门镜头重新核对通道。不是整场戏一律 I2V，也不是每镜重新 T2V 生成不同母女。
7. 先定静帧，还是先定运动
| 当前最不可失去的东西 | 先做的验证 | 再投入什么 |
|---|---|---|
| 外观与构图 | 合格角色、产品、场景和机位静帧 | 运动与声音 |
| 动作时序与接触 | 手机演示、白模、姿态序列或粗动作视频 | 外观、材质与光色 |
| 摄影机路线与空间揭示 | 简易3D、路线草图或相机预演 | 人物细节与最终画面 |
| 未确定的视觉概念 | T2V / 静图探索，对比多种观看方案 | 选定后再固定资产 |
| 对白与回应节拍 | 试读音轨、停顿和听者动作 | 按节奏配置镜头与生成单元 |
不要让静帧设计与运动设计各做一套相互冲突的方案。例如静帧中人物双手紧贴身体、被桌沿遮住，运动稿却要求他立即从身后取出一件大物；这种失败不是单纯“提示词不够强”。
8. 同一任务，T2V 与 I2V 的文字有什么不同
原创镜头任务：夜班修复师听见门口铃声，停止整理胶片，抬头看向门外。关键信息是“铃声使他停止手中行动并转移注意”。下面是制作思路示范，不是某模型的保证可用参数。
8.1 T2V：视觉与变化都要交代
固定中景，一名穿深色工作服的修复师坐在狭小修复室的桌旁，桌面有打开的胶片盒，门在画面右侧后方。台灯照亮他的手与胶片盒。门口响起一声铃，修复师先停下整理动作，再抬头望向右后方的门。保持这段从专注工作到注意门口的过程。
这里把人物、房间、物件、光和门位交给文字建立。若他必须是前一镜的固定角色，仅靠同一段外貌描述不能当作身份验证。
8.2 I2V：先检查图，再写随后变化
先确认输入图已经显示同一修复师、正确工作服、桌上胶片盒和右后方的门；双手有合理位置，桌沿没有把必要动作全遮住。画幅也应与预计视频的取景相容，防止裁切改变门的位置。
摄影机固定。门口响起一声铃后，修复师先让手中的整理动作停住，随后抬头看向右后方的门，目光在门口停留。
声音是否能在同次生成、怎样指定，应查所选模型接口；若流程只有画面，铃声可用临时音轨定节拍，再在后期制作。不要把本示范当作所有本地视频模型都支持原生声音的声明。
两种文字都必须保留刺激与反应。I2V 可以减少对图中既有外观的重复，但不能省略手先停、再抬头的关系；T2V 也不需要无条件增加无关品牌、摄影机型号和装饰词。
9. 更多输入不一定带来更多控制
首尾帧：终点正确，中间仍可能不成立
首帧是手拿伞，尾帧是另一人拿伞，模型可能用物件淡出再出现、手臂穿过身体或突然换位抵达终点。两端图只能给出边界条件，不能证明握稳、松手和重心转移已经发生。先让两端属于同一合理世界，再明确中间行动；需要时增加动作依据或改分镜。
Comfy 的 Wan2.2 页面与 Google Omni 文档都提供首尾帧相关入口，但使用方式与模型不同，不能把其中一家的接线或标记复制给另一家。Comfy Wan2.2 首尾帧示例、Google Omni 插值说明
角色图、场景图、动作视频要各有职责
写清“这张图管身份，那张图管场景布局，视频只管动作节奏”。同一张合照未必能把多人身份分别绑定；两张相反机位的场景图也可能给出矛盾的门窗位置。支持多参考并不表示平台会自动推断你的优先级。
VACE 的官方实现区分参考生成、视频编辑与掩码编辑，并使用视频、掩码与参考图等条件；Comfy 的控制视频例子还展示了预处理深度视频。它们说明结构化条件可以进入生成，但不意味着任意姿态预处理器都能直接接到任何视频检查点上。VACE 官方实现、Comfy VACE 控制视频示例
V2V 与视频参考不能混叫
“以这个视频为基础改背景”和“借用这个视频的动作，重新生成另一个场景”是不同任务。Runway Edit Studio 的 Aleph 2.0 是编辑已有视频的产品例子；Google Omni 文档也明确区分作为待编辑来源与作为参考的视频。应核对原动作、相机、声音和非编辑区域实际保留了什么。Runway Edit Studio、Google Omni 媒体职责
延长：上一段的偏差也可能成为下一段输入
尾帧接下一段时，脸部偏差、错位道具与曝光变化可能被继承。按阶段检查并回到认可资产校准，而不是发现角色已经变了还继续延长。不同扩展模型可能使用不止一帧信息；应先查它实际接收尾帧、尾部片段还是整段视频，再设计接力。
10. 用小样比较路线，而不是凭感觉换模型
为一个代表性镜头做有限对照，先写通过条件，再试生成。以下预算由项目自行设定，不是建议固定抽多少次或承诺成功率。
| 组别 | 保持不变 | 本组改变 | 要回答的问题 |
|---|---|---|---|
| A：T2V | 同一动作目标、画幅、交付要求 | 用文字建立视觉和运动 | 模型能否给出可用的动态方案 |
| B：I2V | 同一镜头任务；使用批准起始图 | 给出起始视觉约束 | 身份与构图改善后，运动是否仍成立 |
| C：修图后 I2V | 与 B 同模型、主要参数和目标 | 仅修起始姿势、遮挡或裁切 | 问题是否主要来自原图 |
| D：控制 / V2V | 同一行动与目标结果 | 加入兼容动作或空间条件 | 新增输入是否真正改善时序与路线 |
不同模型的 seed 没有统一对应关系，甚至同一模型的 T2V 与 I2V 也可能是不同检查点；这不是严格的同随机条件实验。应保留实际输入、版本和次数，用项目验收标准比较可用结果。
| 检查维度 | 写成可判定的问题 |
|---|---|
| 身份 | 关键特征是否从开始到结束及相邻镜头保持 |
| 构图与空间 | 主体、门、桌与线索是否在应有位置，有没有无因换位 |
| 运动与物理 | 接触、支撑、路径与结果是否连续可见 |
| 表演与叙事 | 反应是否由刺激引发，观众能否读懂这一镜的变化 |
| 剪辑接口 | 进入、退出状态是否能接前后镜，不靠口头补充 |
| 生产成本 | 参考制作、运行、返修、后期与等待总共花了什么 |
比较成本应看“得到一条可采用镜头的总投入”，而不只看一次推理的价格。T2I→I2V 增加了静帧制作环节，但可能减少外观返工；T2V 省去该环节，却可能需要更大范围筛选。没有本项目记录时，不预设谁一定便宜。
11. 失败后怎样换路线
| 失败表现 | 先排查 | 下一步可尝试 |
|---|---|---|
| T2V 动作可用，人物始终不像 | 身份是否是必须项，模型是否支持参考 | 固定角色资产，再试 I2V / 身份参考；保留动作设计 |
| I2V 像海报在漂，动作不发生 | 图中姿势是否允许动作，运动描述是否矛盾 | 修起始状态、明确动作阶段；必要时先做动态预演 |
| I2V 大转身后换脸、背景崩坏 | 未见区域、遮挡与空间证据不足 | 补多视角 / 场景资料，比较控制路线或改覆盖 |
| 首尾帧到了终点但中间融化 | 两端是否跨越过大状态差，路径是否合理 | 改关键帧，补中间行动依据，或使用剪辑完成转场 |
| 控制动作正确但角色变形 | 控制类型、强度、分辨率与参考是否兼容 | 分别检查身份与控制分支，不盲目增加全部权重 |
| V2V 改掉了本来要保留的内容 | 来源、参考、编辑范围是否混用 | 缩小编辑范围、增加明确参考；仍需逐帧审片 |
| 延长后越来越不像原场景 | 偏差从哪一段开始、哪个状态被继承 | 回退到最后合格版本，修正再接，必要时改为新镜头 |
换路线时保留镜头的剧情任务。若因为模型限制删去一次关键接触、隐藏动作后果或改掉人物选择，应作为导演方案变更记录，不能只宣布“生成更稳定了”。
12. 交给工作流搭建前的一页选择卡
镜头的剧情任务：
必须保持的身份 / 道具 / 空间 / 构图：
允许模型自由发挥的内容：
已经有的图、视频、声音及各自职责：
动作时序、接触与相机路线的难点：
优先测试模式与理由：
所选模型是否明确支持这些输入：
需要先补的起始帧 / 关键帧 / 动作预演：
小样验收条件与试验预算：
失败后保留什么、改变什么：
填完后进入15｜ComfyUI 工作流搭建与排错，按具体模板确认节点与模型兼容性。已有工作流不必全部重搭；先查它现在是哪种输入路径、缺哪种约束，再决定修改哪一段。
本章核实来源
资料核查：2026-10-29。以下只支持正文明确说明的产品输入与任务分工；选择树、原创镜头和试验方法属于本手册建议，不是厂商成功率承诺。
- Wan2.2 官方仓库：不同任务权重与 TI2V 的输入区别。
- Comfy Wan2.2 官方模板：T2V、I2V、混合与首尾帧示例入口。
- Runway Text to Video Prompting Guide：Gen-4.5 语境中的可见内容与运动描述。
- Runway Image to Video Prompting Guide：Gen-4.5 首帧、运动描述与输入图瑕疵。
- Comfy Wan2.1 VACE 示例：参考图、控制视频、预处理与编辑任务。
- VACE 官方实现：R2V、V2V、MV2V 任务与条件输入。
- Runway Creating with Edit Studio：Aleph 2.0 对已有视频的编辑语境。
- Google Generate and edit videos with Gemini Omni Flash：首尾帧、主体参考、来源视频、参考视频及延长职责的区别。
ComfyUI 与 LoRA 基础知识、工作流记录和完整交付检查，继续参见原制作手册。