SadTalker:用一张授权照片和录音,做简短说话头像

新模型猫目发布于 来源:SadTalker 官方资料
先确定配音,再选择裁脸或保留整张画面的生成方式
SadTalker:用一张授权照片和录音,做简短说话头像

为什么值得关注

帮助读者判断静态照片做口播的输入要求与画面模式,避免把它误当全身动作生成器。

适合谁:有本人或授权肖像与成品录音、想做简短讲解头像的创作者。

这次有哪些亮点

  • 单张肖像加音频生成说话视频
  • crop、resize、full分别处理画面范围
  • still减少头动,enhancer是独立后处理

使用前需要知道

偏向真人或近真人肖像;旧环境需准备,外部增强与模型依赖各有许可;生成口播不等于还原真实讲话或获得肖像权。

一段讲解已经录好,手头只有一张自己的肖像,想做一个简短的说话头像,SadTalker 是一个仍可研究的开源选择。它把单张肖像和音频转换为说话视频,重点在面部表情与头部运动。它不是近期新发布的全身视频模型,也不能从一张照片恢复人物曾经真实说过的话。

官方README给出的基本输入是源图与driven_audio,输出保存为MP4。正文依据完整说明、最佳实践与许可证整理,没有运行推理。项目的核心任务并不要求先克隆声音;你可以直接使用自己的录音,或另一个已获授权的配音文件。可选TTS集成也不等于SadTalker本身拥有所有声音合成能力。

最先该选的其实是画面范围。crop 根据面部关键点裁切,适合只需要头像的小窗讲解;resize 缩放整张图,官方提示它更适合证件照式构图,不适合完整人物图;full 则处理裁出的人脸区域,再贴回原图。如果是半身照或有背景的海报,应先看full流程,而不是把整个人强行缩到面部区域。

官方最佳实践把同一幅完整人物图分别放进crop、resize和full作对照,并指出full可结合still保留原始头部姿态。这里的“完整画面”指脸部处理后仍保留原图范围,不代表生成全身动作。原本静止的手臂和身体,不会因此变成经过完整表演控制的动作视频。官方对照页中的原例图片来自社区用户,使用其肖像素材需另行确认授权。

可以从一个三十秒以内的自我介绍试起:本人清晰正面照、一条已经剪好停顿的录音、固定背景。先生成普通头像,重点检查停顿时嘴是否收住、讲话时头动是否过大、裁剪是否切掉额头。若头像晃动影响说明内容,再测试still;若想保留半身构图,换full并检查贴回边缘。这个任务是编辑示例,未执行,也不是对指定时长效果的保证。

expression_scale 控制表情运动强度,GFPGAN或RestoreFormer属于脸部增强,Real-ESRGAN可用于背景增强。增强可能让细节更锐利,却不保证保留原始人脸的每个特征。第一次应先确认不增强的基础结果,再决定是否值得加后处理,避免把口型问题和修复模型带来的变化混在一起。

输入范围也需要收窄。官方最佳实践强调真人或类似真人的肖像,不能把二次元角色效果当作既定能力。环境说明沿用较早的Python、PyTorch与CUDA组合,安装前应评估依赖兼容;本地代码可以离线运行,但首次准备权重、模型与依赖仍需要下载,外部在线演示的可用性也不能由仓库链接保证。

许可证已更新为Apache 2.0并移除项目原有非商业限制,第三方组件仍有例外。旧版依赖列表、增强模型、源照片与录音的权利要分别检查,不能因为README允许项目使用,就拿不相关人物的照片做商业代言。输出应按实际用途说明为合成内容,并确认人物与声音授权覆盖相应发布场景。

适合SadTalker的交付是简短、正面、可人工检查的讲解头像。想要完整身体表演、准确情绪调度或长期稳定角色,应另行评估更完整的制作管线。

资料:README、模式与最佳实践、许可证。

原始资料:SadTalker 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享