Depth Anything V2:给单张照片补一张远近图,辅助景深与遮挡合成

为什么值得关注
单张图片即可获得逐像素远近关系,为景深和遮挡合成提供辅助材料;可从较小模型开始,先检查细边与反射区域是否满足作品需求。
适合谁:修图、视觉合成与单图三维探索创作者
这次有哪些亮点
- 单图输出相对深度数组,并支持灰度或彩色预览
- 官方提供桥梁空隙、室内反射与蝴蝶细边的深度对照
- 提供不同规模模型和本地图片处理入口
使用前需要知道
本文仅判读官方材料,未运行合成;相对深度不能直接换成米。Small为Apache2.0,Base/Large/Giant为CC BY-NC4.0,Giant表中仍为Coming soon。
想让照片背景逐渐虚化,或者把新图层放到人物身后,只有原图通常还不够:还要知道哪些地方靠前、哪些地方更远。Depth Anything V2 接收单张图片,输出同样对应画面位置的深度图。对修图、视觉合成和轻量三维探索,它的价值是提供一份可继续处理的远近关系,而不是直接替你完成整张作品。
先在官方图里看三个细节

这张官方 teaser 的顶行是原图,第二行是 V2 深度结果,第三行是标明名称的其他方法对照;底部另有官方速度与评测图表。本文重点读上面的图像,不把下面的数字当成本机性能。手机上可打开原图放大细节。
左侧桥梁值得看的是钢架之间的空隙。深度估计不能只给整座桥涂一种颜色,还要区分近处栏杆、远处结构,以及能透过空隙看到的背景。第二列室内图则有玻璃桌面、门窗和室外植物:镜面与透明区域会使“看见什么”与“表面在哪里”变得复杂。最右侧蝴蝶图中,第二行还能辨出翅膀外形、细长触角与花叶的层次,这类细节正是后续合成容易出现边缘问题的地方。
这些是发布方选出的可视对照,能帮助读者理解项目在强调哪些结构,不能单凭一张图推断所有照片都会如此。图中的颜色也是深度可视化,并非给物体分类的固定色卡:黄色不是永远代表蝴蝶,紫色也不天然等于天空。
怎样把远近图用到一张作品上
可以设想一张人在桥上、背景延伸到远处的照片。先把原图交给模型,再得到每个像素对应的深度值;官方接口返回与图像空间对应的二维数组,也能导出灰度或彩色预览。以深度值作为后续处理的依据,可以让远处区域比近处更强地虚化,或者辅助判断一个新增图层应被哪些前景挡住。这是教学中的合成思路,本文未运行该任务。
真正决定画面是否自然的地方,常在边界。栏杆空隙若被填平,虚化会涂到不该模糊的位置;蝴蝶触角若断开,新背景可能穿过主体。深度图因此适合作为合成的辅助材料,仍需要按最终用途检查细边、反射和半透明区域。它也不等同于主体抠图遮罩:前后相邻但属于同一物体的区域,可能有连续变化的深度。
这里必须保留“相对”两个字。主仓库的这组预训练模型做相对深度估计,数值不能直接解释成“离镜头两米”,也不能据此量出桥面长度。即便可视化看起来立体,也没有自动获得真实尺度。官方另设米制深度微调模型,想研究距离数值应进入那个独立入口,不能只把主模型输出换个单位。
按用途选模型,许可也随之变化
官方列出 Small、Base、Large、Giant 四档。Small 约 2480 万参数,Base 约 9750 万,Large 约 3.35 亿;当前读取的权重表里,Giant 仍写着 Coming soon,不能因为架构代码有配置就当成可直接下载的模型。先做本地图片辅助处理,Small 是值得考察的较小入口;是否需要换大模型,要看自己的细节要求与硬件条件,不能只靠示例图替代判断。
采用条件不只是参数量。Small 权重使用 Apache 2.0;Base、Large、Giant 标注 CC BY-NC 4.0,其中 NC 限制商业使用。根目录的 Apache 许可文件不能覆盖不同权重的单独声明。因此,商业设计或产品集成要先把使用的 checkpoint 说清楚,不能笼统地把整个系列都称作自由商用。
普通读者可先从官方 Hugging Face 演示上传一张有明显前后关系的照片,检查输出是否保留自己在意的边界。需要本地处理时,仓库提供图片脚本及 CPU、CUDA、Apple MPS 的设备选择示例;本地依赖、模型下载与算力仍由使用者准备。主仓库还支持视频脚本,但逐帧有深度图不等于本文已经验证时间连续性。先在单张照片上确认它能为哪一步提供帮助,再决定要不要把它纳入更长的制作流程。
参考资料:
以上为编辑整理,功能、许可与使用条件以官方说明为准。