一杯咖啡装进两艘海盗船,PixArt-Sigma 把复杂画面做成开放模型

新模型猫目发布于 来源:PixArt-Sigma 官方资料
看一组有对应提示词的官方成图,再分清论文中的 4K 能力与公开权重的尺寸。

为什么值得关注

具体物体关系和长提示词有官方对应样例,适合探索奇想插画与较大画布的本地生成。

适合谁:想用可下载模型制作概念插画、壁纸和画面素材的创作者

这次有哪些亮点

  • 官方保留复杂关系提示与对应图
  • 公开模型表列出256、512、1024和2K检查点

使用前需要知道

论文4K不等于所有下载权重原生4K;0.6B仅指生成主干,另需T5与VAE;权重OpenRAIL++。

两艘海盗船在一杯咖啡里交战,这个画面同时要求模型认得船、咖啡杯,还要把大小和空间关系放对。PixArt-Sigma 的官方 README 把这句提示和成图并排放了出来。对想做奇想插画的人,这比一串模型榜单更值得看:你能直接检查模型是否把“在杯中”画出来,而不只是生成海面上的船。

PixArt-Sigma官方样例,两艘微型帆船位于一杯咖啡的表面

来源:PixArt-Sigma 官方 README 的第三组样例。两艘船与咖啡杯的大小关系是这张图的观察重点。

提示里的关系,落在画面哪里

这张图保留了大杯沿、咖啡表面和背景虚化,船被缩小到杯内,读者不难辨认这个想法。另一方面,提示所写的交战动作并没有因为场景成立就自动获得同样清晰的表达。它是一个可用于讨论构图的官方示例,不是复杂指令全部兑现的证明。原提示里甚至用了“video”一词,输出仍然是图像;不能由这个词推导出 PixArt-Sigma 能生成视频。项目页还保留了建筑、纸艺珊瑚和蔬菜汽车等提示与样图,方便读者按具体关系继续看。

PixArt-Sigma 是文生图模型,生成主干采用 Diffusion Transformer。它延续 PixArt-alpha 的训练基础,引入更高质量图片与更详细描述,论文把这条路线称为 weak-to-strong。创作者真正能感受到的接口变化,是模型接受较长的场景说明,官方对比表列出的 T5 长度为 300 token;这给了物体、空间与风格更多表达位置,不等于长提示里的每个细节都必然正确。

想做大图,先认清下载的是哪一个

论文题目写着 4K,实际开始时应看仓库的 Available Models 表。当前公开列出的 Sigma 检查点包括 256、512、1024 与 2K;同表还有 PixArt-alpha-DMD,它是另一条型号,不能拿它的一步采样特征替 Sigma 作承诺。选择 1024 或 2K 模型时,应沿对应链接进入文件,而不是只下载带有 PixArt 名字的任意权重。

还有一个数字容易误读:0.6B 指图像生成主干,官方表里另有 T5 与 SDXL-VAE 组件。把主干参数小直接写成“普通电脑轻松跑”并不成立。仓库提供本地 Gradio、Diffusers 以及 LoRA 材料,适合已有本地绘图基础、愿意保留提示和参数反复创作的人;不是一个无需安装、长期保证在线的免费商业网站。

权重卡标注 Open RAIL++,应与代码及依赖各自的许可区分。想用它做中文封面,可以先围绕杯中帆船这类可目视检查的画面关系理解模型,再把准确标题放到排版环节。这里值得留下的是能下载、能继续调整的画面生成路线,以及官方把提示词和图片放在一起供人判断的材料。

原始资料:PixArt-Sigma 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享