TripoSR:把单张物体图变成网格,顶点颜色和贴图是两种交付

新模型猫目发布于 来源:TripoSR 官方资料
从官方输入与转台演示看快速重建,再看OBJ、GLB和纹理出口。

为什么值得关注

适合为场景预演、概念验证准备物体粗模的技术美术。

适合谁:技术美术、三维概念设计、视觉应用开发者

这次有哪些亮点

  • 单张图到可导出网格,官方样例提供输入与旋转结果对应
  • 默认顶点颜色;需要独立纹理时启用bake-texture

使用前需要知道

A100半秒是研究条件,不是整个导出流程耗时;单图看不到的背面由模型推断;去背景依赖另核模型许可

一张机器人、椅子或装饰物的概念图,要放进三维场景里试比例,先有一个能旋转的粗模就能开展讨论。TripoSR由Tripo AI与Stability AI合作开发,以单图快速重建为主,输出可以继续导入三维软件的网格,而不只是一段看起来立体的转台视频。

官方仓库的演示把输入图放在上排,生成物体的旋转结果放在下排,包含玩偶、马、机器人和仙人掌装饰。对照能看见原图外观怎样变成有侧面的体积,但单图没有提供真实背面;旋转到背后的结构是重建推断,不能当作原实物扫描。

TripoSR官方单图输入与重建转台结果

TripoSR官方样例,上排输入、下排重建结果。动画说明从平面图到可观察体积,不是本地运行。

默认网格的颜色长在哪里

README给出的起步命令以examples/chair.png作为输入,将重建保存到输出目录。实际run.py进一步区分两种交付:默认给网格顶点写颜色,文件格式可选OBJ或GLB;加入--bake-texture后,改为烘焙独立纹理图,并能用--texture-resolution指定大小。

这对后续编辑有实际区别。只做场景占位或快速观察,顶点颜色可以先表达整体外观;若需要在绘图软件里修改图案、颜色和表面细节,则应检查带UV的纹理出口。纹理分辨率变大也不会自动补回不存在的几何结构;轮廓缺口、薄片和连接处仍要在三维软件中看。

先检查送给模型的主体

脚本默认通过rembg去背景,把主体重新缩放,再合成到灰色背景后交给重建。它也会保存处理后的input.png,方便判断问题是否早在抠图时发生:例如椅腿被切掉,后续网格自然没有充分依据补好。已自行准备好合适RGB与灰底时,可使用跳过去背景的选项,但要遵守该选项对输入的要求。

脚本能分别记录模型初始化、图像处理、推理、网格提取与烘焙过程,也能可选渲染视频。README所说A100上不足0.5秒对应其研究重建条件,不能直接理解为从上传、下载权重到纹理导出一共半秒。默认单图设置约需6GB显存,提取与渲染可用更小分块减显存,代价是更多计算时间。

项目代码和预训练模型以MIT许可发布;它和Tripo当前商业Studio是不同实体与工作流。安装中用到的去背景模型、纹理工具与第三方输入素材,还应按各自许可核对,不能由主仓库MIT一并覆盖。

TripoSR比较具体的成果是一个能拿去摆场景、换视角、继续修的物体起点。先看侧面和背面轮廓,再决定是否烘焙贴图,能把“重建形状”和“修饰外观”分成两次清楚的制作决定。

原始资料:TripoSR 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享