TRELLIS:同一张参考图,导出纹理网格或3D高斯素材

新模型猫目发布于 来源:TRELLIS 官方资料
先看交付格式,再理解结构化表示为什么对三维创作有用。

为什么值得关注

适合需要在展示渲染与网格编辑之间选择输出的技术美术。

适合谁:技术美术、三维创作者、三维应用开发者

这次有哪些亮点

  • image-large管线同时提供mesh、gaussian与radiance-field出口
  • 官方例子把网格与外观处理成GLB,并单独保存高斯PLY

使用前需要知道

初代TRELLIS与后续型号区分;文本权重不是image-large的同一入口;主模型MIT,部分渲染与几何子模块另有许可;Linux至少16GBNVIDIA条件

生成三维素材后,是要在网页里展示外观,还是拿到网格继续减面、修改和装进场景?TRELLIS把这个选择放到了输出端:同一套结构化三维表示可解码成网格、3D高斯或辐射场。对技术美术来说,先看最终软件需要什么格式,比只比较一段转台视频更有意义。

官方仓库的总览图左侧展示参考图片与生成物体,旁边同时画出带外观和灰色几何的结果。图中藤蔓格架、机械器物都能帮助区分“看起来像”和“有怎样的结构”。这篇聚焦初代TRELLIS-image-large图像条件管线,不把总览中的文本生成、局部编辑或其他后续型号都当成这段最小示例的默认按钮。

TRELLIS官方图像与文本三维生成及编辑总览

微软TRELLIS官方总览。本文主要解释左侧图像条件生成及对应的多格式出口;下方编辑示例属于另列能力。

官方最小例子实际留下五份文件

example.py读取一张图片,固定种子运行图像管线,返回gaussian、radiance_field和mesh三组结果。它分别渲染转台MP4,随后将外观与网格送入后处理,导出带纹理的sample.glb;高斯表示则另存sample.ply。

因此,MP4适合先查看,GLB适合继续送往兼容网格的三维软件,高斯PLY则应交给支持相应表示的渲染流程。文件扩展名相同也不必然代表同一数据:这里的PLY保存的是高斯表示,不能把它当成普通多边形网格。选择输出时要同时保留表示类型,避免素材交到下一环节才发现无法编辑。

GLB后处理还开放减面比例与纹理尺寸。官方示例的simplify=0.95表示移除三角形的比例,而非保留95%;默认示范纹理为1024。若细杆或镂空在减面后丢失,应回到几何简化这一步检查,而不是只提升纹理大小。上色和结构是两份不同的信息。

输入路线与权重不能混用

仓库除了image-large,还列出text-base、text-large与text-xlarge。作者明确推荐优先图像条件路线:若从文字开始,可先用图像模型确定外观,再交给TRELLIS-image;文本条件版本受数据限制,细节与创意表现较弱。多图条件功能也被注明是无需额外训练的算法方案,并非为所有输入专门优化的模型。

原仓库要求Linux、至少16GB显存的NVIDIA GPU,并验证过A100与A6000;安装包含多个需要编译的依赖。Windows说明链接到社区讨论且未全面验证,因此不能描述为下载即用的通用桌面软件。官方有Gradio示例,可用来建立自己的操作界面。

TRELLIS模型与大部分代码采用MIT许可,但README单独列出diffoctreerast和修改版FlexiCubes等子模块许可,商业打包应逐项核对。对制作流程,最值得保留的并非一个“3D已生成”的状态,而是参考图、选定权重、网格和外观出口,使展示与后续修模都有明确去处。

原始资料:TRELLIS 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享