Files
ai-series-comfyui-handbook/research/local_case.md
T

71 lines
8.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 本地案例核对:2026-10-28 三部两分钟短剧
核对范围:只读取本地已完成工程与实际提交的 API JSON,未请求 ComfyUI 服务器、未发起生成。以下“已验证”仅指这个项目、这些模型组合和输出规格。三部片是三个独立故事,不能据此宣称已经验证同一角色跨多集、跨服装与跨年龄的稳定性。
## 1. 实际生产链与模型
实际生产链为:剧本/镜头表 → 内置 image_gen 生成、参考编辑人物和场景图 → Python 调用远端 ComfyUI 的 H3 图生视频 → 抽帧/离线 ASR/视觉审阅 → 补拍或合理裁切 → 本地 FFmpeg 编排、字幕和混音 → 成片与验收记录。
- 参考图由内置 image_gen 生成与编辑,不能写成“所有环节都在 ComfyUI 内完成”。C03 的记录是项目根目录 `imagegen_prompts.json`,不是 `assets/imagegen_prompts.json`。
- 本批没有训练人物 LoRA。实际加载的两种 LoRA 都是 H3 的 Turbo 加速用途;它们不等于人物身份训练。
- 画面、原生普通话、口型与环境声由 H3 联合生成,但仍需检查说话者、台词、开口时机、口型和意外发声。
- 原生声音的一致性未作人耳音色评价;ASR 与电平测量不能替代声线、表演与听感判断。
| 项目 | 实际文件或参数 |
|---|---|
| 底稿来源 | `production_pack_20260904/03_generation_cinematic/01_minimax_h3_i2v_base.json`,本地勘查记录写明从保存的 H3 子图展开 |
| 主模型 | `minimax_h3_fl2va_pruned_int8_convrot.safetensors` |
| 文本/视觉编码器 | `qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors` |
| 视频 VAE | `minimax_h3_video_vae_fp16.safetensors` |
| 音频 VAE | `minimax_h3_audio_vae_fp32.safetensors` |
| 对白镜加速 LoRA | `minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors`,强度 1.0,8 steps |
| 静默/物件镜加速 LoRA | `minimax_h3_fl2v_turbo_4step_v1.2_768p_comfyui_bf16.safetensors`,强度 1.0,4 steps |
| 图生视频节点 | `LoadImage` → `MiniMaxH3ImageToVideo`,参考图接 `first_frame` |
| 采样部分 | `RandomNoise` + `BasicGuider` + `KSamplerSelect(res_multistep)` + `BasicScheduler(simple, denoise=1.0)` → `SamplerCustomAdvanced` |
| 解码/保存 | `VAEDecode`、`VAEDecodeAudio` → `CreateVideo` → `SaveVideo` |
| 单镜源片 | 960×544、192 帧、24fps,即 8.000 秒;随机种子逐次设置 |
| 成片 | 120.000 秒、960×540、24fps、H.264/AAC 双声道 32kHz;有效宽画面 960×408,上下各 66 像素黑边 |
注意:这里使用 `BasicGuider`,图中没有普通 KSampler 的 CFG 数值和正/负条件组合,不能把 SD 系教程的“CFG 7、负面词”等按钮照搬到这张 H3 图上。限制项是写在该模型的提示词中,具体能力以节点和模型文档为准。
## 2. 已验证与后续系列 SOP 的边界
| 主题 | 本机/本批已验证 | 推荐 SOP 或仍需另测 |
|---|---|---|
| 镜头长度 | 每片 15×8 秒,时间线严格 120 秒 | 8 秒是这批项目的选择;连续剧应按表演、信息量与模型支持范围安排镜头长度,不能机械地每镜 8 秒 |
| 角色连续性 | 同一组参考图、服装与场景约束维持单片人物,仍发现局部漂移 | 连续剧需建立角色/服装/场景/道具/声线资产库与每集状态表;同脸跨集、变装和极端角度需专项测试 |
| LoRA | 已验证上述 Turbo 8/4 步组合用于加速 | 人物 LoRA 训练及与本模型的兼容性未在本批验证;不能把任意人物/风格 LoRA 直接叠进 H3 |
| 分辨率 | 源片 960×544,交付 960×540 | 1080p、4K、上采样与插帧没有作为这批成片路线验收;放大文件尺寸不等于增加真实细节 |
| 声音 | 原生音画、离线 ASR、真实时码、响度/峰值检查 | 多集固定声线仍需参考音频/配音/口型等路线专项验证及人耳审听 |
| 队列 | 单 GPU 串行,由一份中央调度提交;CPU 前期/质检/后期并行 | 连续剧按小批次推进,先用 2–3 镜测试正反打、对白与关键动作,再扩至一集;不要一口气生成整季 |
| 显存处理 | 每次提交前确认 running/pending 队列都空,才执行显式 idle-only `/free` | 这是该设备历史 OOM 下的项目策略,不能写成通用“每镜必清显存”;先检查现有队列,不中断其他人的任务 |
| 可复现性 | 保存 job ID、原始 API/GUI、seed、源 SHA、选片、裁框与后期工程 | 固定 seed 不能单独锁定身份,也不保证换版本/硬件后的逐字节复现;同时保留已验收原片与依赖版本 |
## 3. 实际遇到的问题与修法
| 实例 | 实际问题 | 最终处理与可迁移的注意项 |
|---|---|---|
| C02 S01 | 投诉台词到约 6.2 秒才出现,开场冲突太晚 | 补拍 S01R1,把精确短句放在提示词前部并要求立即开口;实际约 0.86–2.10 秒。提示词的时间要求仍需要验实片 |
| C01 S04 | 水壶镜后半段运镜发明了新墙面/相片,水壶离画 | 补拍固定桌面插镜;只写参考图可见的主体与动作,移除不必要的全屋介绍 |
| C03 S04/S06 | 父亲举出饭袋、袋子样式变化,沙漏与袋子不合理叠放 | 分别补拍 R1 干净近景。对象要在画外时,避免提示词反复描述它们并要求展示;不能靠过度裁切丢掉说话人来救片 |
| C03 S12 | 后半段右边生出陌生男人 | 实际检查 `[0,60,800,340]` 的女儿反应裁框,排除陌生人并保留嘴和情绪。裁切只在不损害剧情证据时采用 |
| C02 S10/S12 | S10 提前出现笔迹且笔尖接近裁框下沿 | S10 改为脸/上身犹豫反应,首次明确落笔留给 S12;S12实际看裁后嘴与笔尖同框。剪辑要保证因果先后 |
| ASR 转写 | “页/夜”“店/电”同音;有些近音无法仅凭小模型确认;静默片段还出现高 no-speech 的字幕署名伪词 | 保留原转写与理由,区分完全同音正字、上下文近音解释、无确证语音。不能以剧本硬盖错误台词,也不能把 ASR 所有词当真实发声;重要内容需要多证据与人耳审听 |
| C01 S09 | 闭口反应镜出现不确定短脉冲;R1表演更差 | 选用闭口更稳的原镜画面,取同镜前 0–4.2 秒无言室内底噪,音频交叉淡化 0.4 秒形成 8 秒。保留派生音轨、来源区间、SHA 与空 ASR 证据;未重复视频或对白 |
这批共生成 52 条视频素材(45 条基础镜 + 7 条补拍备选),选用 45 个独立镜头,完成 3×120 秒、共 6 个成片 MP4;其中 C01 的 S09R1 没有进入最终时间线。对最终 45 镜保存 90 份 GUI/API 工作流并读回核对。三部片的技术验收失败项均为 0;两项预期提示是没有独立软字幕轨、保留模型原生 32kHz 音频,烧录字幕版另附 SRT。不能把“失败项为 0”解释为人物/表演/音色绝对无缺陷。
## 4. 直接核查入口
- [批次完成记录](F:/AI视频项目/short_drama_batch_20261028/BATCH_COMPLETED.json):数量、时长、格式、各片检查指标。
- [实际对白镜 API](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/jobs/S06R1/workflow_api.json):8 步 LoRA、主模型、编码器、VAEs、节点连线及实际提示词。
- [实际静默插镜 API](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/jobs/S11/workflow_api.json):4 步 LoRA与实际步数。
- [原工作流技术勘查](F:/AI视频项目/last_light_20261027/research/route_recommendation.md):底稿来源和当时的候选路线;候选不代表已经用于成片。
- [中央调度脚本](F:/AI视频项目/short_drama_batch_20261028/batch_produce.py)、[提交器](F:/AI视频项目/short_drama_batch_20261028/C01_mystery/h3_runner.py):先导镜、队列检查、idle-only free、记录与下载逻辑。
- [参考图生成记录](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/imagegen_prompts.json):内置图像工具的参考图来源。
- [最终裁框记录](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/post/per_shot_crops.json)、[最终选片时间线](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/final_timeline.json):实际进入成片的源,而不是按文件名猜测最新版本。
- [近音与同音审阅示例](F:/AI视频项目/short_drama_batch_20261028/C02_comedy/post/dialogue_corrections.json)、[成片视觉审阅](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/post/visual_review.json)。
- [C01 工程说明](F:/AI视频项目/short_drama_batch_20261028/C01_mystery/README.txt)、[C02 工程说明](F:/AI视频项目/short_drama_batch_20261028/C02_comedy/README.txt)、[C03 工程说明](F:/AI视频项目/short_drama_batch_20261028/C03_fantasy/README.txt)。
本节可作为手册的“已验证本地案例”,其余系列制作方案应另标为推荐 SOP 或需要专项测试,避免把网络教程、候选工作流与已经完成的事实混在一起。