MimicMotion | 让照片动起来

介绍

ComfyUI MimicMotion 工作流是一种强大的工具，用于生成逼真的人体动作视频。通过集成由腾讯和上海交通大学开发的 MimicMotion 技术，该工作流可以轻松创建详细且动作流畅的视频。只需提供参考图像和动作序列，MimicMotion 就能生成模仿参考图像外观的视频。

ComfyUI-MimicMotionWrapper 节点及其相关工作流由 Kijai 完全开发。我们对 Kijai 的创新工作表示充分的敬意。在 猫目社区 平台上，我们只是将 Kijai 的贡献展示给社区。需要注意的是，猫目社区 与 Kijai 目前没有正式的合作关系。我们对 Kijai 的工作深表感谢！

ComfyUI MimicMotion 工作流

效果

什么是 MimicMotion？

MimicMotion 是由腾讯和上海交通大学的研究人员开发的可控视频生成框架。它可以根据提供的运动指导生成任意长度的高质量视频。与以往的方法相比，MimicMotion 在生成细节丰富、时间上平滑且能够生成长序列的视频方面表现出色。

MimicMotion 的工作原理

MimicMotion 以参考图像和姿态指导为输入，然后生成与参考图像外观匹配的视频，同时遵循提供的动作序列。

几项关键创新使 MimicMotion 的表现更为出色：

1. 置信度感知姿势指导：通过结合姿态置信度信息，MimicMotion 实现了更好的时间平滑性，并且对噪声训练数据更加棒。
2. 区域损失放大：特别是对手部等高置信度姿态区域加重损失，显著减少生成视频中的图像失真。
3. 渐进潜在融合：为了高效生成平滑、长时间的视频，MimicMotion 生成具有重叠帧的视频段并渐进融合其潜在表示。这允许在控制计算成本的情况下生成任意长度的视频。

该模型首先在大型视频数据集上进行预训练，然后为动作模仿任务进行微调。这个高效的训练管道不需要大量的专业数据。

如何使用 ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

在测试了 ComfyUI 中不同的 MimicMotion 节点后，我们推荐使用 Kijai 的 ComfyUI-MimicMotionWrapper 以获得最佳效果。

步骤 1：准备 MimicMotion 的输入

要开始使用 ComfyUI MimicMotion 动画，你需要两个关键要素：

1. 参考图像：这是作为动画起点的初始帧。选择清晰描绘你要动画化的主题的图像，如下图：

2. 姿态图像：这些图像定义了动作序列。每个姿态图像应显示动画中主题在特定时刻的所需位置或姿态。你可以手动创建这些姿态图像，或使用姿态估计工具从视频中提取姿态。

提示：参考图像和姿态图像具有相同的分辨率和宽高比，以获得最佳效果。

步骤 2：加载 MimicMotion 模型

ComfyUI MimicMotion 需要 MimicMotion 模型才能正常工作。将相关模型文件分别下载到ComfyUI\models\mimicmotion和ComfyUI/models/diffusers文件夹中。

1. MimicMotion模型仓库：MimicMotion at HuggingFace
2. SVD XT 1.1模型仓库：stable-video-diffusion-img2vid-xt-1-1 at HuggingFace

在猫目的应用中，模型已经预加载，要配置 "DownLoadMimicMotionModel" 节点，请按照以下步骤操作：

1. 将 "model" 参数设置为 MimicMotionMergedUnet_1-0-fp16.safetensors（或其他适当的模型文件名，如有不同）。
2. 根据你的 GPU 能力选择所需的精度（fp32、fp16 或 bf16）。这一选择会影响性能和兼容性。

配置节点设置后，将 "DownloadAndLoadMimicMotionModel" 节点的输出连接到工作流中下一个节点的输入。这将确保加载的 MimicMotion 模型在 ComfyUI 管道的后续步骤中得到正确使用。

步骤 3：配置 MimicMotion 采样器

"MimicMotionSampler" 节点负责根据你的输入生成动画帧。以下是设置方法：

添加 "MimicMotionSampler" 节点并将其连接到 "DownloadAndLoadMimicMotionModel" 节点的输出。

将 "ref_image" 参数设置为你的参考图像，将 "pose_images" 参数设置为你的姿态图像序列。

根据你的偏好调整采样设置：

1. "steps" 确定扩散步骤的数量（更高的值会产生更平滑的结果，但处理时间更长）。
2. "cfg_min" 和 "cfg_max" 控制条件指导的强度（更高的值更紧密地遵循姿态图像）。
3. "seed" 设置随机种子以确保可重复性。
4. "fps" 指定生成动画的每秒帧数。

微调其他参数，如 "noise_aug_strength"、"context_size" 和 "context_overlap"，以尝试不同的风格和时间连贯性。

步骤 4：解码潜在样本

"MimicMotionSampler" 节点输出动画帧的潜在空间表示。要将这些潜在表示转换为实际图像，您需要使用 "MimicMotionDecode" 节点：

1. 添加 "MimicMotionDecode" 节点并将其连接到 "MimicMotionSampler" 节点的输出。
2. 设置 "decode_chunk_size" 参数以控制同时解码的帧数（较高的值可能会消耗更多的 GPU 内存）。"MimicMotionDecode" 节点的输出将是最终的动画帧，以图像格式显示。

步骤 5：使用 MimicMotionGetPoses 增强姿态

如果您想要将提取的姿态与参考图像一起可视化，可以使用 "MimicMotionGetPoses" 节点：

1. 将 "ref_image" 和 "pose_images" 连接到 "MimicMotionGetPoses" 节点。
2. 设置 "include_body"、"include_hand" 和 "include_face" 参数以控制显示哪些姿态关键点。输出将包括带有提取姿态的参考图像和单独的姿态图像。

结语

ComfyUI MimicMotion 是一款强大而多功能的工具，可以轻松创建令人惊叹的动画。通过了解工作流并探索各种参数，你将能够轻松地制作动画。随着你深入动画世界，记住要不断实验、迭代，并在整个过程中享受乐趣。使用 ComfyUI MimicMotion，创意愿景的实现将变得无限可能，尽情享受将你的创意愿景带入生活的过程吧！最后祝你在猫目平台创作愉快，你的支持是对我们最大的鼓励。