HF-06工程级19 min

ComfyUI 图生视频工作流深度优化

从零构建 ComfyUI 图生视频（I2V）完整工作流：AnimateDiff 动画控制节点 + ControlNet 姿态绑定 + 运动笔刷，覆盖从图片输入到视频输出的全流程参数调优经验。

ComfyUIAnimateDiffI2VControlNet视频生成

工作流架构

ComfyUI 的图生视频（I2V）工作流核心是 AnimateDiff——在 Stable Diffusion 模型中注入时序动画能力的插件。工作流从一张静态图片出发，通过 ControlNet 提取姿态骨架，用 Motion Module 驱动图片内容随时间变化，最后用 VideoHelperSuite 输出视频文件。

workflow.json

{
  "nodes": [
    {"id": 1, "type": "LoadImage", "inputs": {"image": "portrait.png"}},
    {"id": 2, "type": "ControlNet", "inputs": {"image": "portrait.png", "strength": 0.9}},
    {"id": 3, "type": "AnimateDiff", "inputs": {"motion_scale": 1.5, "context_scale": 1.0}},
    {"id": 4, "type": "VAEDecode", "inputs": {}},
    {"id": 5, "type": "VideoHelper", "inputs": {}}
  ]
}

AnimateDiff 参数调优

Motion Scale 控制运动幅度（1.0-2.0），Context Scale 控制时序上下文窗口大小（0.5-1.0）。两个参数需要平衡——太高会产生画面形变（warping），太低则几乎没有动画效果。

motion_calc.py

def calc_vram_gb(resolution, frames, motion_scale, context_scale):
    base = resolution / 512
    frame_cost = frames * 0.1
    motion_cost = motion_scale * 0.8
    context_cost = context_scale * 0.5
    total = (base + frame_cost + motion_cost + context_cost) * 1.2
    return round(total, 2)

vram = calc_vram_gb(512, 24, 1.5, 1.0)
print(f"Estimated VRAM: {vram} GB")

常见问题与解决方案

闪烁（flickering）：相邻帧之间 VAE 解码结果不一致。解决：提高 Steps（25-35）、降低 Motion Scale（1.0-1.2）、开启 Temporal Noise Seed。

画面形变（warping）：ControlNet 强度过高导致内容漂移。解决：降低 ControlNet strength（0.7-0.8），或补充 Tile Resample 节点。

视频闪烁的根本原因是 latent 空间不够平滑。别一味提高 Steps，建议先调低 Motion Scale 到 1.0 观察基准效果。

关键指标

RTX 3090 上 512x512 分辨率 24 帧生成时间约 45 秒。1024x1024 需要 12GB+ 显存，建议开启 GPU 强制模式。AnimateDiff 默认 16 帧，建议设 24-32 帧流畅度最优。