Mochi 1:用可下载权重做写实运动短镜头

新模型猫目发布于 来源:Mochi 1 官方资料
从官方变色龙提示词看动作描述、视频输出与显存取舍。

为什么值得关注

适合想保留生成流程、比较动作描述并能使用GPU的影像实验者。

适合谁:视频技术美术、影像实验者、模型开发者

这次有哪些亮点

  • 官方示例把镜头距离、主体和变化过程写进同一提示词
  • 代码与权重采用Apache 2.0,但基础预览模型只有480p

使用前需要知道

介绍Mochi 1 preview这一既有版本,不作为新发布;极端运动可能扭曲,动画风格较弱;不同推理实现显存需求相差很大

一段有动作的AI素材,难点通常在“如何变化”:眼睛怎样转动,皮肤怎样变色,镜头又离主体多近。Genmo的Mochi 1 preview值得影像实验者关注,是因为它把文字到视频的权重和推理流程开放出来,便于留下提示词、种子和参数,反复比较同一个动作设想。

这是2024年公布的既有模型,并非今天的新发布。官方模型卡把它定位为写实方向的视频生成预览版,初始输出为480p。项目公开代码和权重采用Apache 2.0;这提供了改造与部署的基础,但不代表模型卡中的示例图片、第三方素材或他人角色版权也随之转让。

从一个能落到画面的动作开始

模型卡的Diffusers例子以“变色龙眼睛特写、鳞片皮肤正在改变颜色”为提示,生成84帧,再以30fps导出为mochi.mp4。这里有三个可辨认的控制点:特写决定观察范围,变色龙眼睛决定主体,皮肤变色决定时间里的变化。提示词中虽然写了“4k”,那只是文本描述,不能改变该预览权重的480p能力边界。

这份代码展示的是官方使用方法,并没有附上这条提示词在本地运行的结果。它仍足以帮助组织创作:先确定一种运动,再增加光线、材质和摄影语言。例如把眼部运动与皮肤变色同时堆得很复杂,出问题时就难判断哪个动作导致形变;拆成几轮改词,更容易保留有用片段。中文读者可以把镜头意图整理成简短英文指令,模型卡列出的语言是英文,不据此承诺中文提示表现。

保留一次生成的条件,才方便改下一版

官方仓库除了Gradio界面,也提供命令行与可编程管线。原生API示例明确设置480×848、31帧、64步和固定种子;这些值说明参数在哪里调整,不是要求每个镜头都照抄。想比较动作词的差异,可以先固定其余条件,只替换动作描述;想比较构图,则保留动作,改变远景、特写或观察角度。最终保存MP4后,再进入剪辑软件挑选镜头。

硬件门槛要按实现看。仓库原生单卡流程写的是约60GB显存,并推荐至少一张H100;模型卡另列Diffusers的约42GB方案,以及采用较低精度、CPU卸载和VAE分块的约22GB方案,后者说明会有轻微质量损失。第三方ComfyUI优化不能直接当作原生仓库的需求。当前仓库还提示GPU推理与微调需要进一步环境验证,装好依赖不等于已验证生成链路。

模型卡坦承,极端运动可能出现扭曲,动画内容也不是优势。对短片而言,比较合适的成果是一个动作清楚、可供挑选和再剪辑的写实短镜头;若需要稳定人物身份、长剧情连续性或动画风格,应另找对应的模型与控制流程。

原始资料:Mochi 1 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享