InstantMesh:先补出六个视角,再把一张物体图重建成OBJ

新模型猫目发布于 来源:InstantMesh 官方资料
把多视图中间图留住,背面出错时更容易找到修正起点。

为什么值得关注

适合研究单图到网格流程、制作概念资产粗模的技术美术。

适合谁:技术美术、三维研究者、资产工具开发者

这次有哪些亮点

  • Zero123++生成多视图,再由稀疏视图模型重建网格
  • 默认OBJ顶点颜色,可另导出纹理与转台视频

使用前需要知道

多视图由模型推断,不是六张实拍,也不保证背面真实;依赖CUDA环境与多套模型;NeRF和Mesh配置、许可各需分清

单张物体图变成三维时,背面、侧面和遮挡部分都没有直接依据。InstantMesh没有把这一步藏起来:它先从输入图生成一组不同视角,再利用这些视图重建网格。对想弄清楚资产为什么出错的技术美术,中间多视图图像本身就很有价值。

官方仓库发布的演示把参考图与旋转重建结果成对排列,包含花瓶、机器人、椅子和建筑装饰。侧面与背面能被观察,并不意味着它们来自实物测量。这里是生成式补全后的重建,更适合概念粗模和场景试摆,而不是高精度复刻尺寸。

InstantMesh官方演示截帧,参考图与旋转重建结果成对展示

腾讯ARC官方README演示视频第3秒截帧。相邻列展示参考外观与三维旋转结果,原视频保留在证据中。

六个视角是生成的中间材料

run.py先加载Zero123++v1.2及项目微调的白底UNet,用输入图生成一张六视角拼图,保存到images目录。代码将它拆为六张320×320视图,再带相机信息交给重建模型。默认使用instant-mesh-large;配置也能选择其他Mesh或NeRF路线,不能把它们的输出过程混成同一模型。

如果输入里椅子的一条腿在生成侧视图时消失,最终网格很难凭空得到可靠依据。先看保存的多视图,能区分“补视角时已经变形”和“重建阶段没有正确融合”。这比只看最终OBJ更容易定位问题。视图数量选项可用4或6,但6张不是六份真实观测,也不自动保证所有视角互相一致。

顶点颜色、纹理与转台各自有用途

默认导出带顶点颜色的OBJ;加入--export_texmap后,会连同UV、材质与纹理图导出,所需时间更长。--save_video另保存旋转观察视频,方便快速检查轮廓。视频是查看材料,OBJ和相关贴图才是继续修模的资产,二者不能互相替代。

README还指出,NeRF路线在默认等值面提取分辨率下,纹理网格导出的UV展开可能耗时较长;可以降低配置里的提取分辨率,但这又影响几何取舍。因此,不必为了“更完整的文件”盲目打开所有选项,先确认下一步软件需要哪种资产更清楚。

项目使用rembg处理前景,已有alpha输入可用--no_rembg跳过;不应在多视图阶段才发现抠图切掉了配件。官方环境推荐Python3.10、PyTorch2.1、CUDA12.1以上的对应组合,本地演示还可自动用两张GPU分担。它不是无需环境准备的普通桌面转换器。

代码许可与项目权重卡标注Apache 2.0,底层Zero123++、去背景权重及其他依赖仍需分别核对。InstantMesh是2024年的既有框架;保留输入、多视图、配置和网格,才便于把一次生成接成可继续修正的制作过程。

原始资料:InstantMesh 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享