MuseTalk 1.5：保留人物视频，用新配音重做口型

一段人物视频的动作已经合适，后来改了讲稿，重新拍摄或重新生成整段成本很高。MuseTalk 的任务是让现有画面接上新的语音，主要修改面部口型区域。这里限定官方已发布权重、训练及推理代码的1.5版本，不把上游MuseV的视频生成能力当成MuseTalk本身的功能。

官方README将输入视频、MuseTalk1.0与1.5结果并排提供对照。它支持中文、英文、日文等音频，但“支持语言”不等于每个发音或人物都经过本文验证。本文阅读完整功能与配置说明，未运行模型，也未把官方实时性能写成本地实测。

官方配置有一个很适合第一次理解流程的连续例子：同一条 yongen.mp4，一项配 yongen.wav，另一项配 eng.wav，并可调整bbox_shift。也就是说，画面来源可以固定，音频版本单独替换。你要验收的是新配音和嘴部开合是否协调，以及原有人物细节是否被修改，而不是期待模型重新导演人物的整个身体动作。

图源：MuseTalk官方Gradio说明。界面提供左右脸颊宽度、下颌区域等控制，并将Test Inpainting与Generate分开；这是官方界面截图，不是本文运行结果。

最有用的工作方式是先测试首帧。官方Gradio允许只生成第一帧，用来调整脸部修改范围；修改区域没有覆盖完整嘴部，或范围过大碰到脸颊与胡须，都会影响整段观感。先用一帧定位边界，再生成整个片段，可以避免为了发现一个遮罩问题等待整段推理。

以自有课程视频改一段说明为例，可以先剪出单人、正面、光线稳定的小段，把新配音调整到合理停顿，再输入同一视频。先查第一帧的嘴唇、下巴和脸颊边缘，再查整段是否有面部抖动、发音错位或身份细节变化。这是编辑试用任务，未执行。人物大幅侧脸、遮挡嘴部、镜头连续切换时，应拆段评估，不能把一个正面片段的成功外推到整支视频。

本地调用需选对版本。README为1.5提供 inference.sh v1.5 normal，1.0则有不同模型目录与权重文件。实时流程对新avatar需要preparation，后续复用再关闭准备步骤，因此所谓实时速度包含预处理前提。官方30fps以上数据来自Tesla V100，不代表任意电脑的端到端速度；另一处4GB笔记本测试也对应特定FP16设置。

官方建议输入25fps，与训练设置一致。实际脸部处理区域为256×256，即使原视频是高清，也不能直接理解为生成了同等分辨率的嘴部细节。限制中明确提到胡须、唇形与唇色可能不能完整保留，以及单帧生成造成的抖动。增加超分模型是额外处理，不能保证恢复原来的真实细节。

许可分四层看：代码MIT；作者训练的模型允许包括商业在内的用途；Whisper、VAE、检测与其他组件各守自己的许可；从互联网收集的测试数据仅供非商业研究。官方案例可帮助理解流程，不能直接拿其人物素材做客户广告。视频肖像、配音、声音与发布用途也应有相应授权。

它适合已有画面、只需修改口型的制作环节。若还需要新身体动作、声音克隆或自动翻译，应分别选择并核验其他工具。

资料：完整README、官方输入配置、许可说明。