GFPGAN:模糊人脸能补出细节,整张照片要分开看

开源项目猫目发布于 来源:TencentARC GFPGAN README
三行真人官图展示生成先验的作用,也提醒我们区分论文旧模型、背景超分和真实历史细节。
GFPGAN:模糊人脸能补出细节,整张照片要分开看

为什么值得关注

针对低清面孔补充较完整的五官与纹理,并能结合背景超分生成展示副本,适合普通插值放大仍看不清脸的照片。

适合谁:保留原始扫描件、想制作更易观看的旧照副本,并愿意比较模型版本的照片整理者。

这次有哪些亮点

  • 预训练人脸 GAN 的先验参与盲人脸修复
  • 可结合 Real-ESRGAN 单独增强非人脸区域
  • clean 路线不需自定义 CUDA 扩展

使用前需要知道

输出可能改变身份特征;四倍尺寸不等于真实细节恢复;主项目 Apache-2.0,第三方代码及所选权重条件需分别核对。

一张老照片里,背景还认得出来,人脸却只剩模糊色块。GFPGAN 值得尝试的,是让这类面孔重新出现较明确的五官与纹理,做成更适合观看的照片副本。它也能配合背景放大,但“脸变清楚”和“整张图变大”是两件事,分开理解才能知道结果好在哪里、哪里需要保留判断。

三行真人对照,别只看最右边

GFPGAN 官方论文时期对照,三行依次为女孩、老年女性和戴眼镜男性

这张官方图左列写着 Input / From real life,最右列是 GFP-GAN / Ours,中间列出当时的其他方法。第一行女孩的输入仍能辨认表情,右侧头发和五官边界更清晰,也出现了颜色;第二行老年女性的原脸模糊,右侧皱纹、眼部和白发细节更具体;第三行戴眼镜男性的输入有明显偏色与退化,右侧眼镜、胡须和面部颜色更容易分辨。 查看原尺寸对照图。

这些差异说明官方展示了什么:对不同退化的人脸,模型可以生成结构较完整的结果。它们不证明补出的每一道皱纹都曾存在。尤其第二行,输出比原图增加了大量可见细节;这恰好提醒我们,修复里既有利用输入的信息,也有来自模型先验的补充。

图中列名与会议年份属于论文时期的比较,不能当作现在的产品排行榜。第一行的上色也不能推广成所有 GFPGAN 版本都会自动上色:官方把论文模型 V1 与后来的 clean 模型分开说明,V1.2 明确为不做上色的路线。本文解读这份官方图,没有重新运行三张照片,也没有把图中结果归给 V1.4。

“人脸先验”为什么有用,也为什么会改样貌

GFPGAN 使用预训练人脸生成模型里学到的规律,帮助补充退化图像缺少的面部细节。可以把它理解为:输入提供这张脸仍然可见的约束,模型则利用学过的面孔结构生成更完整的结果。这样做的吸引力,在于原图很糊时仍可能得到自然的五官;限制也在同一个地方,缺失越多,越不能把新增细节都视为原照片里的事实。

所以我会推荐它用于旧照的展示副本,而不把输出作为身份核验、原始肤色或历史细节的证明。挑结果时,可以先看原图里尚能确认的眼睛位置、脸形和嘴角有没有明显变化,再看肤质。只比较“哪张最锐”,容易把更像精修照的候选误认成更忠实的版本。

官方自己的版本说明也支持这种选择方式:V1.3 的优点包括更自然,但弱点列有不够锐利和身份轻微变化;V1.2 较锐,却可能不自然。README 另提到 V1.4 相对 V1.3 增加一些细节并改善身份保持。这些是作者的版本描述,不能据此认定版本号更大就适合每一张照片。选模型时应该明确用的是哪个权重,而不是只认“GFPGAN”这个总名称。

人脸修复之后,背景怎样跟上

整图处理还包括定位人脸、修复并放回原图。GFPGAN 的官方推理入口可以接收图片或文件夹,保存修复结果,并支持用 Real-ESRGAN 处理非人脸区域。也就是说,脸部生成与背景超分可以各自承担不同任务:前者关注五官,后者负责让整张画面的尺寸和细节观感更协调。

若计划输出四倍尺寸的相册图片,四倍说的是最终图像尺寸的设置,不是凭空找回四倍真实信息。脸与背景的接合处是否自然、背景文字有没有变形,都要跟最终用途一起看。官方三行图本身主要展示裁出的人脸,不能拿来证明整张合照的边缘融合或四倍打印效果已经过关。

从 TencentARC 官方仓库可以找到作者列出的 Hugging Face、Replicate 和 Colab 入口。在线运行的账户与费用按服务本身确认;本地路径需要 Python、PyTorch、BasicSR 和 facexlib,若增强背景还需 Real-ESRGAN。clean 版本免去自定义 CUDA 扩展,不能写成完全没有环境依赖,也不能保证普通电脑的处理速度。

主项目标注 Apache-2.0,但 LICENSE 还收录第三方组件的许可说明,包括带非商业限制的条款。把项目用于商业修复或重新分发时,应核对实际使用的代码分支、权重与依赖,不能用主项目的一个标签担保整个组合。对愿意保留原件、逐张挑选展示效果的人,GFPGAN 的价值很明确:它提供比普通放大更完整的人脸候选,同时要求你把“看得清”与“历史真实”分开。

参考资料:

原始资料:TencentARC GFPGAN README

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享