CogVideoX1.5-5B-I2V:固定一张参考图,再写清主体怎样运动

新模型猫目发布于 来源:CogVideoX1.5-5B-I2V 官方资料
5B图生视频权重的提示词、画幅与商用登记边界
CogVideoX1.5-5B-I2V:固定一张参考图,再写清主体怎样运动

为什么值得关注

把已有分镜图转为短镜头实验,并分清参考图约束、运动描述与导出设置。

适合谁:能使用diffusers与GPU、希望自行部署短视频模型的创作者。

这次有哪些亮点

  • 本文限定1.5的5B图生视频版本
  • 英文提示词与参考图共同作为输入
  • 模型自定义许可要求商用登记,不能套用代码Apache许可

使用前需要知道

需要配置GPU与权重;最低显存依赖卸载优化且速度有代价;生成运动和画面一致性须逐镜头验收,商用须获得对应授权。

已有一张分镜图,希望人物骑车、风吹衣角或背景缓慢移动,最有价值的第一步是固定图像,再单独试运动。CogVideoX1.5-5B-I2V 提供这样的开放权重入口:输入图片与文字,输出一段视频。这里限定1.5的5B图生视频版本,不把文生视频、2B模型或商业清影服务混成同一个产品。

官方仓库目前位于 zai-org/CogVideo,部分模型卡仍保留 THUDM 旧链接,访问会迁移到当前组织。文章依据该型号完整模型卡与实际权重许可整理,没有下载模型或运行推理。

模型卡的最小示例很明确:加载 input.jpg,用英文描述一个女孩快速骑自行车,通过 CogVideoXImageToVideoPipeline 生成帧,再导出MP4。这个例子展示的是接口的连续输入与输出,不是某张自行车示例图的效果保证。参考图负责外观与构图,文字还应说明动作、环境和镜头关注点,不能指望模型从静态姿势自动知道接下来要发生什么。

可以把自己的角色分镜做成两轮试验。第一轮只描述缓慢骑行与固定镜头,检查车轮、手臂和人物比例是否漂移;第二轮保留同一图片、种子与画幅,只调整动作幅度。若人物在第一轮就改变服装或面孔,应先处理参考与提示,而不是继续叠加转场。这个任务是编辑示例,未运行,目的是把画面一致性和运动意图分别验收。

官方型号表支持5秒或10秒、16fps;图生视频的短边为768,长边在768至1360之间且满足16的倍数要求。但模型卡的代码示例却把81帧按8fps导出。因此,复制代码时必须分清“生成多少帧”和“导出时按多少fps播放”:后者会直接改变时长与运动速度,不能只看文件播放了几秒就认定模型原生生成设置正确。正式制作应先按对应版本脚本核对帧率。

语言也有明确边界。模型卡推荐英文输入,最大提示长度为224 tokens;中文创作者可以先写清动作意图,再翻译和压缩,保留主体、动作、环境、镜头这些关键项。过长的文学描写既占长度,也不一定让动作更明确。

显存宣传需要连同优化条件一起读。官方最低9GB BF16数据依赖顺序CPU卸载、VAE切片与平铺,并以A100/H100测试;关闭优化会改变内存与速度。INT8可以降低显存,但也可能明显减慢推理。它不是“有9GB显卡就能即时生成”的承诺,更不是本稿的硬件实测。

最关键的许可区别在权重。代码仓库是 Apache 2.0,而这份5B权重采用 CogVideoX 自定义许可:商业使用需完成登记并获得基础商用授权,每月超过100万人次访问还需进一步联系授权。学术研究许可和用户生成内容权利也有各自条件。不要把另一个2B型号的许可或云端清影的订阅条款移用到这里。

如果已有清楚的参考图,且能接受逐镜头检查与较长推理时间,这套模型适合做可控的短镜头研究。要交付广告或人物作品,还应分别确认参考图、肖像与模型授权,并保留后期修剪空间。

资料:型号卡、权重许可、当前代码仓库。

原始资料:CogVideoX1.5-5B-I2V 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享