Files
ai-series-comfyui-handbook/research/local_case.md
T

8.8 KiB
Raw Blame History

本地案例核对:2026-10-28 三部两分钟短剧

核对范围:只读取本地已完成工程与实际提交的 API JSON,未请求 ComfyUI 服务器、未发起生成。以下“已验证”仅指这个项目、这些模型组合和输出规格。三部片是三个独立故事,不能据此宣称已经验证同一角色跨多集、跨服装与跨年龄的稳定性。

1. 实际生产链与模型

实际生产链为:剧本/镜头表 → 内置 image_gen 生成、参考编辑人物和场景图 → Python 调用远端 ComfyUI 的 H3 图生视频 → 抽帧/离线 ASR/视觉审阅 → 补拍或合理裁切 → 本地 FFmpeg 编排、字幕和混音 → 成片与验收记录。

  • 参考图由内置 image_gen 生成与编辑,不能写成“所有环节都在 ComfyUI 内完成”。C03 的记录是项目根目录 imagegen_prompts.json,不是 assets/imagegen_prompts.json。
  • 本批没有训练人物 LoRA。实际加载的两种 LoRA 都是 H3 的 Turbo 加速用途;它们不等于人物身份训练。
  • 画面、原生普通话、口型与环境声由 H3 联合生成,但仍需检查说话者、台词、开口时机、口型和意外发声。
  • 原生声音的一致性未作人耳音色评价;ASR 与电平测量不能替代声线、表演与听感判断。
项目 实际文件或参数
底稿来源 production_pack_20260904/03_generation_cinematic/01_minimax_h3_i2v_base.json,本地勘查记录写明从保存的 H3 子图展开
主模型 minimax_h3_fl2va_pruned_int8_convrot.safetensors
文本/视觉编码器 qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
视频 VAE minimax_h3_video_vae_fp16.safetensors
音频 VAE minimax_h3_audio_vae_fp32.safetensors
对白镜加速 LoRA minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors,强度 1.0,8 steps
静默/物件镜加速 LoRA minimax_h3_fl2v_turbo_4step_v1.2_768p_comfyui_bf16.safetensors,强度 1.0,4 steps
图生视频节点 LoadImage → MiniMaxH3ImageToVideo,参考图接 first_frame
采样部分 RandomNoise + BasicGuider + KSamplerSelect(res_multistep) + BasicScheduler(simple, denoise=1.0) → SamplerCustomAdvanced
解码/保存 VAEDecode、VAEDecodeAudio → CreateVideo → SaveVideo
单镜源片 960×544、192 帧、24fps,即 8.000 秒;随机种子逐次设置
成片 120.000 秒、960×540、24fps、H.264/AAC 双声道 32kHz;有效宽画面 960×408,上下各 66 像素黑边

注意:这里使用 BasicGuider,图中没有普通 KSampler 的 CFG 数值和正/负条件组合,不能把 SD 系教程的“CFG 7、负面词”等按钮照搬到这张 H3 图上。限制项是写在该模型的提示词中,具体能力以节点和模型文档为准。

2. 已验证与后续系列 SOP 的边界

主题 本机/本批已验证 推荐 SOP 或仍需另测
镜头长度 每片 15×8 秒,时间线严格 120 秒 8 秒是这批项目的选择;连续剧应按表演、信息量与模型支持范围安排镜头长度,不能机械地每镜 8 秒
角色连续性 同一组参考图、服装与场景约束维持单片人物,仍发现局部漂移 连续剧需建立角色/服装/场景/道具/声线资产库与每集状态表;同脸跨集、变装和极端角度需专项测试
LoRA 已验证上述 Turbo 8/4 步组合用于加速 人物 LoRA 训练及与本模型的兼容性未在本批验证;不能把任意人物/风格 LoRA 直接叠进 H3
分辨率 源片 960×544,交付 960×540 1080p、4K、上采样与插帧没有作为这批成片路线验收;放大文件尺寸不等于增加真实细节
声音 原生音画、离线 ASR、真实时码、响度/峰值检查 多集固定声线仍需参考音频/配音/口型等路线专项验证及人耳审听
队列 单 GPU 串行,由一份中央调度提交;CPU 前期/质检/后期并行 连续剧按小批次推进,先用 2–3 镜测试正反打、对白与关键动作,再扩至一集;不要一口气生成整季
显存处理 每次提交前确认 running/pending 队列都空,才执行显式 idle-only /free 这是该设备历史 OOM 下的项目策略,不能写成通用“每镜必清显存”;先检查现有队列,不中断其他人的任务
可复现性 保存 job ID、原始 API/GUI、seed、源 SHA、选片、裁框与后期工程 固定 seed 不能单独锁定身份,也不保证换版本/硬件后的逐字节复现;同时保留已验收原片与依赖版本

3. 实际遇到的问题与修法

实例 实际问题 最终处理与可迁移的注意项
C02 S01 投诉台词到约 6.2 秒才出现,开场冲突太晚 补拍 S01R1,把精确短句放在提示词前部并要求立即开口;实际约 0.86–2.10 秒。提示词的时间要求仍需要验实片
C01 S04 水壶镜后半段运镜发明了新墙面/相片,水壶离画 补拍固定桌面插镜;只写参考图可见的主体与动作,移除不必要的全屋介绍
C03 S04/S06 父亲举出饭袋、袋子样式变化,沙漏与袋子不合理叠放 分别补拍 R1 干净近景。对象要在画外时,避免提示词反复描述它们并要求展示;不能靠过度裁切丢掉说话人来救片
C03 S12 后半段右边生出陌生男人 实际检查 [0,60,800,340] 的女儿反应裁框,排除陌生人并保留嘴和情绪。裁切只在不损害剧情证据时采用
C02 S10/S12 S10 提前出现笔迹且笔尖接近裁框下沿 S10 改为脸/上身犹豫反应,首次明确落笔留给 S12;S12实际看裁后嘴与笔尖同框。剪辑要保证因果先后
ASR 转写 “页/夜”“店/电”同音;有些近音无法仅凭小模型确认;静默片段还出现高 no-speech 的字幕署名伪词 保留原转写与理由,区分完全同音正字、上下文近音解释、无确证语音。不能以剧本硬盖错误台词,也不能把 ASR 所有词当真实发声;重要内容需要多证据与人耳审听
C01 S09 闭口反应镜出现不确定短脉冲;R1表演更差 选用闭口更稳的原镜画面,取同镜前 0–4.2 秒无言室内底噪,音频交叉淡化 0.4 秒形成 8 秒。保留派生音轨、来源区间、SHA 与空 ASR 证据;未重复视频或对白

这批共生成 52 条视频素材(45 条基础镜 + 7 条补拍备选),选用 45 个独立镜头,完成 3×120 秒、共 6 个成片 MP4;其中 C01 的 S09R1 没有进入最终时间线。对最终 45 镜保存 90 份 GUI/API 工作流并读回核对。三部片的技术验收失败项均为 0;两项预期提示是没有独立软字幕轨、保留模型原生 32kHz 音频,烧录字幕版另附 SRT。不能把“失败项为 0”解释为人物/表演/音色绝对无缺陷。

4. 直接核查入口

本节可作为手册的“已验证本地案例”,其余系列制作方案应另标为推荐 SOP 或需要专项测试,避免把网络教程、候选工作流与已经完成的事实混在一起。