VGGT:给一组照片,同时估计相机、深度与三维点云

新模型猫目发布于 来源:VGGT 官方 README
从官方竞技场连续案例,看多视图照片怎样变成可检查的几何估计。
VGGT:给一组照片,同时估计相机、深度与三维点云

为什么值得关注

一次处理共同估计视角与空间结构,并能将相机和三维点导出到后续渲染流程,为照片三维制作提供可检查的几何起点。

适合谁:照片重建、三维渲染探索者与视觉几何开发者

这次有哪些亮点

  • 从多视图共同预测相机参数、深度、点图和三维轨迹
  • 提供深度与相机反投影、点图两种点云查看路径
  • 可导出 COLMAP 格式并选择束调整,衔接 gsplat 等流程

使用前需要知道

未运行或计时;点云不能当作有真实尺度的CAD。原始权重非商用,Commercial需申请并受自定义许可用途限制。

想把拍下来的建筑或物体继续做成三维内容,第一道问题往往是:这些照片分别从哪里拍,画面里的点在空间中怎样对应?VGGT 把相机参数、深度和点云等几何信息放进同一个预测流程。对想尝试照片重建、为后续三维渲染准备起点的人,它值得先看官方竞技场案例,再决定是否拿自己的照片去试。

这里介绍原始 VGGT 及其明确列出的 Commercial checkpoint,不把仓库顶部后续 VGGT-Omega 的消息算作本文型号的能力。

竞技场截图为什么比孤立的点云更有信息

VGGT 官方演示中竞技场多视图输入与右侧三维重建结果

先看左侧的大图与下方一组缩略图:它们围绕同一竞技场提供不同视角。再看右侧,建筑与周围地面被呈现在三维视图里,旁边还有估计的相机位置标记。界面标注该例为 22 帧。输入与结果连续对应,这张官方演示截图能解释“一组照片怎样共同进入空间”,而不只是展示一张漂亮的三维成品。

也要看右侧的白色空缺:画面并不是完整封闭的建筑模型。截图可以说明这个示例生成了可浏览的几何结果,不能证明每个点都准确,更不能提供测绘误差或实际尺度。手机上想看参数区,可打开完整截图;本文没有重新运行这组竞技场素材。

一次预测里,几种结果分别有什么用

官方将 VGGT 描述为前馈网络,输入一张、少量或上百张视图,直接估计相机内外参数、深度图、点图与三维点轨迹。对普通创作者,可以先理解最直接的三个结果:相机信息描述各视角怎样观察空间,深度图描述画面各位置的远近,点云把空间里的采样点放在一起供你旋转查看。它们都是几何估计,尚不是带设计尺寸的 CAD。

这些输出一起存在,带来的实际好处是后续不必只抱着一张深度图猜下一步。仓库示例可以把深度与相机参数反投影为三维点;官方还指出,这条路径通常比直接点图分支得到更准确的点。演示界面因而提供 Depthmap and Camera Branch 与 Pointmap Branch 两个选项,截图中选中的是前者。切换路径是在比较不同几何预测方式,不是给成品更换颜色。

置信度阈值同样值得理解。调高它会留下模型更有把握的点,结果可能更干净,却也可能更稀疏。看到点云缺口时,不能靠降低阈值就认定“补齐了真实结构”。官方还建议,对反射面、天空或水等不想重建的像素可以做遮罩;这些处理提示了输入内容仍会影响几何结果。

想继续做三维,入口就在导出结果里

一个合理的首次尝试,是围绕同一静态物体或建筑准备有重叠内容的照片,再检查不同视角能否在点云里对齐。这是编辑建议的教学任务,不是本文的实拍测试。验收时看相机位置是否合理、同一表面有没有分裂、细小结构是否丢失,比只看缩略图像不像更有用。

若结果值得继续,官方脚本可以导出 COLMAP 格式的相机与三维点,并提供可选的束调整;导出的结果又能作为 gsplat 等高斯泼溅流程的输入。这里的意义是给后续训练和渲染准备几何起点,不能把“已导出”写成已经获得可交付的高精度模型。实际尺寸、完整表面和工程误差,需要额外信息与验证。

不想先配置环境,可以从仓库链接的 Hugging Face 演示入手;本地路线需要 PyTorch 等依赖,交互展示另有依赖清单。官方特别区分网络预测与第三方点云可视化耗时,后者可能明显更慢。本文没有测速度,等待浏览器画出结果的时间也不应全部算成模型推理时间。

先核对下载的到底是哪份权重

VGGT 的许可有一个会改变选择的细节:仓库代码已采用允许商用、但有用途限制的 VGGT 自定义许可;原始 facebook/VGGT-1B 权重仍限非商用。商用应另看 facebook/VGGT-1B-Commercial,按官方流程提交申请并接受对应条款,不能因为代码许可更新就沿用原始权重做商用。

因此,VGGT 更适合把照片变成“可检查、可继续加工的空间估计”。如果你正在寻找从多视图照片进入三维制作的起点,官方演示值得试;如果交付要求带实际尺度和明确精度保证的测绘或 CAD,就需要更完整的采集、标定与验收方案。

参考资料:

原始资料:VGGT 官方 README

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享