LivePortrait:用自己的表演视频,驱动一张角色肖像

新模型猫目发布于 来源:LivePortrait 官方资料
表情、头部姿态、眼口重定向与输入裁剪的实际分工
LivePortrait:用自己的表演视频,驱动一张角色肖像

为什么值得关注

让角色表情跟着表演变化,并知道从哪种驱动素材开始更容易检查结果。

适合谁:希望为自有肖像、原创角色或授权人物制作表情动画的创作者。

这次有哪些亮点

  • 视频驱动肖像,表演提供表情与头部运动
  • 驱动首帧建议正面中性、肩部运动尽量少
  • 商用需替换受限InsightFace检测权重

使用前需要知道

需要部署环境;动物模式依赖X-Pose且macOS不支持该模式;MIT不覆盖InsightFace非商业模型,肖像和驱动表演须有授权。

想让一张原创角色肖像露出笑容、转头或眨眼,LivePortrait 提供的控制方式是自己表演一遍:把图片作为外观来源,用一段驱动视频提供表情和头部运动,再生成肖像动画。它适合围绕“怎么演”来制作表情,而不是只把音频塞进去就推断完整动作。

官方项目来自快手研究团队,仓库现在位于 KlingAIResearch/LivePortrait,文档里还能看到KwaiVGI、KlingTeam等历史路径。本文依据当前可访问的完整README、项目页与许可整理,没有安装或运行模型,也不把其他社区实时对话项目的能力算到LivePortrait上。

LivePortrait官方默认示例,左为驱动表演,中间为源肖像,右为生成结果

图源:官方推理示例。三栏对照说明动作来源与肖像来源不同,属于官方演示;单个展示不代表所有风格都能同样稳定。

用自己的素材时,驱动视频比拍得漂亮更需要拍得清楚。作者建议裁成1:1、主要保留头部、尽量减少肩膀运动,并让第一帧保持正面中性表情。这样后续表情变化更容易与初始状态比较。可以先录一个短片:中性起始、轻微微笑、眨眼、缓慢转头;不要第一轮就大幅甩头或让头发遮住整张脸。此处是编辑的试用建议,未执行。

官方脚本用 -s 指定源图片或源视频,用 -d 指定驱动视频;默认输出的 concat.mp4 会把驱动、源与结果放在一起,方便观察哪一步发生偏差。自动裁剪不理想时,还能调整裁剪尺度和垂直偏移,或直接手动裁剪。如果错误从脸部检测或裁剪开始,反复加大表情强度通常不能解决根本问题。

“缝合”和“重定向”也有具体用途。项目的stitching模块帮助处理驱动后的衔接,眼口重定向则分别控制眼睛与嘴的开合。它们提供比直接照搬整段动作更细的编辑空间。当前仓库也支持图像驱动、区域控制和源视频编辑,但每种入口都应按对应说明配置,不能把主流程误写成自动生成讲话音频或语音克隆。

平台支持要按模式拆开。人物模式有Linux、Windows和Apple Silicon macOS说明,Mac的速度与支持范围不同;动物模式依赖X-Pose,官方没有支持macOS,且其测试平台又有更具体要求。能在Mac启动人物界面,并不表示猫狗模式也可以同样运行。

商业使用还有一个明确的权重边界。LivePortrait代码为MIT,但LICENSE单独注明,InsightFace的检测模型只供非商业研究。要用于商业项目,应移除并替换这些检测模型,且继续检查其他组件条款;仅保留MIT声明并不足够。源肖像与驱动视频中人物的同意,也不能由模型许可代替。

它适合为授权肖像或原创角色制作可表演、可检查的表情片段。真正有用的验收不是“脸动起来了”,而是源角色有没有变样、眼口是否符合表演、头部与边缘是否出现明显拉扯,再决定是否继续精修。

资料:README与驱动建议、许可及InsightFace例外、项目演示页。

原始资料:LivePortrait 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享