MimicMotion | 让照片动起来

ComfyUI MimicMotion 工作流是一种强大的工具,用于生成逼真的人体动作视频,只需提供参考图像和动作序列,MimicMotion 就能生成模仿参考图像外观的视频。

想要运行这个应用吗?

  • 帮助您专注于艺术创作,而非红色错误
  • 由猫目社区来维护AIGC安装部署的复杂性
  • 无需手动设置
  • 具有惊艳的视觉效果
  • 平台整合上万张高端显卡,一键启动



介绍

ComfyUI MimicMotion 工作流是一种强大的工具,用于生成逼真的人体动作视频。通过集成由腾讯和上海交通大学开发的 MimicMotion 技术,该工作流可以轻松创建详细且动作流畅的视频。只需提供参考图像和动作序列,MimicMotion 就能生成模仿参考图像外观的视频。

ComfyUI-MimicMotionWrapper 节点及其相关工作流由 Kijai 完全开发。我们对 Kijai 的创新工作表示充分的敬意。在 猫目社区 平台上,我们只是将 Kijai 的贡献展示给社区。需要注意的是,猫目社区 与 Kijai 目前没有正式的合作关系。我们对 Kijai 的工作深表感谢

ComfyUI MimicMotion 工作流

效果


什么是 MimicMotion?

MimicMotion 是由腾讯和上海交通大学的研究人员开发的可控视频生成框架。它可以根据提供的运动指导生成任意长度的高质量视频。与以往的方法相比,MimicMotion 在生成细节丰富、时间上平滑且能够生成长序列的视频方面表现出色。

MimicMotion 的工作原理

MimicMotion 以参考图像和姿态指导为输入,然后生成与参考图像外观匹配的视频,同时遵循提供的动作序列。

几项关键创新使 MimicMotion 的表现更为出色:

  1. 置信度感知姿势指导:通过结合姿态置信度信息,MimicMotion 实现了更好的时间平滑性,并且对噪声训练数据更加棒。
  2. 区域损失放大:特别是对手部等高置信度姿态区域加重损失,显著减少生成视频中的图像失真。
  3. 渐进潜在融合:为了高效生成平滑、长时间的视频,MimicMotion 生成具有重叠帧的视频段并渐进融合其潜在表示。这允许在控制计算成本的情况下生成任意长度的视频。

该模型首先在大型视频数据集上进行预训练,然后为动作模仿任务进行微调。这个高效的训练管道不需要大量的专业数据。

如何使用 ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

在测试了 ComfyUI 中不同的 MimicMotion 节点后,我们推荐使用 Kijai 的 ComfyUI-MimicMotionWrapper 以获得最佳效果。

步骤 1:准备 MimicMotion 的输入

要开始使用 ComfyUI MimicMotion 动画,你需要两个关键要素:

  1. 参考图像:这是作为动画起点的初始帧。选择清晰描绘你要动画化的主题的图像,如下图:

2. 姿态图像:这些图像定义了动作序列。每个姿态图像应显示动画中主题在特定时刻的所需位置或姿态。你可以手动创建这些姿态图像,或使用姿态估计工具从视频中提取姿态。

提示:参考图像和姿态图像具有相同的分辨率和宽高比,以获得最佳效果。

步骤 2:加载 MimicMotion 模型

ComfyUI MimicMotion 需要 MimicMotion 模型才能正常工作。将相关模型文件分别下载到ComfyUI\models\mimicmotionComfyUI/models/diffusers文件夹中。

  1. MimicMotion模型仓库:MimicMotion at HuggingFace
  2. SVD XT 1.1模型仓库:stable-video-diffusion-img2vid-xt-1-1 at HuggingFace

在猫目的应用中,模型已经预加载,要配置 "DownLoadMimicMotionModel" 节点,请按照以下步骤操作:

  1. 将 "model" 参数设置为 MimicMotionMergedUnet_1-0-fp16.safetensors(或其他适当的模型文件名,如有不同)。
  2. 根据你的 GPU 能力选择所需的精度(fp32、fp16 或 bf16)。这一选择会影响性能和兼容性。

配置节点设置后,将 "DownloadAndLoadMimicMotionModel" 节点的输出连接到工作流中下一个节点的输入。这将确保加载的 MimicMotion 模型在 ComfyUI 管道的后续步骤中得到正确使用。

步骤 3:配置 MimicMotion 采样器

"MimicMotionSampler" 节点负责根据你的输入生成动画帧。以下是设置方法:

添加 "MimicMotionSampler" 节点并将其连接到 "DownloadAndLoadMimicMotionModel" 节点的输出。

将 "ref_image" 参数设置为你的参考图像,将 "pose_images" 参数设置为你的姿态图像序列。

根据你的偏好调整采样设置:

  1. "steps" 确定扩散步骤的数量(更高的值会产生更平滑的结果,但处理时间更长)。
  2. "cfg_min" 和 "cfg_max" 控制条件指导的强度(更高的值更紧密地遵循姿态图像)。
  3. "seed" 设置随机种子以确保可重复性。
  4. "fps" 指定生成动画的每秒帧数。

微调其他参数,如 "noise_aug_strength"、"context_size" 和 "context_overlap",以尝试不同的风格和时间连贯性。

步骤 4:解码潜在样本

"MimicMotionSampler" 节点输出动画帧的潜在空间表示。要将这些潜在表示转换为实际图像,您需要使用 "MimicMotionDecode" 节点:

  1. 添加 "MimicMotionDecode" 节点并将其连接到 "MimicMotionSampler" 节点的输出。
  2. 设置 "decode_chunk_size" 参数以控制同时解码的帧数(较高的值可能会消耗更多的 GPU 内存)。"MimicMotionDecode" 节点的输出将是最终的动画帧,以图像格式显示。

步骤 5:使用 MimicMotionGetPoses 增强姿态

如果您想要将提取的姿态与参考图像一起可视化,可以使用 "MimicMotionGetPoses" 节点:

  1. 将 "ref_image" 和 "pose_images" 连接到 "MimicMotionGetPoses" 节点。
  2. 设置 "include_body"、"include_hand" 和 "include_face" 参数以控制显示哪些姿态关键点。输出将包括带有提取姿态的参考图像和单独的姿态图像。



结语

ComfyUI MimicMotion 是一款强大而多功能的工具,可以轻松创建令人惊叹的动画。通过了解工作流并探索各种参数,你将能够轻松地制作动画。随着你深入动画世界,记住要不断实验、迭代,并在整个过程中享受乐趣。使用 ComfyUI MimicMotion,创意愿景的实现将变得无限可能,尽情享受将你的创意愿景带入生活的过程吧!最后祝你在猫目平台创作愉快,你的支持是对我们最大的鼓励。