先定轮廓再换画面:Stable Diffusion 3.5 Large 的 ControlNet 路线

新模型猫目发布于 来源:Stable Diffusion 3.5 Large 官方资料
文字描述负责内容,边缘图或深度图负责结构,适合已有构图草案的视觉探索。

为什么值得关注

把原图的轮廓或空间关系作为生成条件,让创作者不必完全靠文字重新描述位置。

适合谁:已经使用本地图像工作流、希望参考草图或场景结构出图的创作者

这次有哪些亮点

  • Large有独立Canny、Depth、Blur控制模型
  • 官方提供控制图输入与对应提示词示例

使用前需要知道

权重需HF账号并接受条款;Community License按年收入门槛区分授权;不能把Large ControlNet当作全家族通用。

想保留一张构图草案里的姿势、轮廓和远近,只更换画面内容,难点常常在“位置说不准”。Stable Diffusion 3.5 Large 有一条值得了解的控制路线:在文字之外,再给模型一张边缘图、深度图或经过模糊处理的参考图。这些额外输入交给对应的 ControlNet,让生成过程获得可见的结构条件。官方参考实现提供了三种控制模型的用法。

同一条轮廓,不必写成一大段方位词

仓库里的 Canny 例子把 inputs/canny.png 作为控制图,同时用文字指定夜晚、和服人物与樱花。这里有两份职责不同的材料:控制图告诉模型主要边缘在哪里,提示词描述希望出现的内容与气氛。结果是重新生成的图像,而非在原图上套一层颜色滤镜。若你已有分镜草稿,最该先弄清的是准备交给模型哪些结构,再去增加摄影风格词。

另外两种控制图也各有作用。Depth 用灰度表达空间深浅,适合把姿态、前后关系作为参照;Blur 保留较粗的颜色和形状信息,适合围绕原有布局重建细节。官方 Depth 示例采用人物瑜伽姿态,Blur 示例写的是冲浪的小黄鸭:它们说明这三种输入格式有各自对应的处理方式,并不构成同一任务下谁更好的横评。具体预处理与模型建议应以ControlNet 模型卡为准。

能改的地方,分布在三个环节

第一处是控制图。边缘太碎,背景纹理也可能变成约束;深度图错误,前后关系就失去依据。第二处是提示词,负责结构之外的材质、主体内容与光线。第三处是控制强度:官方建议从 0.7—0.8 起步后调整,Canny 还给出 Euler 与较多采样步数的建议。这些是发布方的起始配置,不能解释成所有画面通用的最佳值。

它更适合“有图可依”的生成探索。控制轮廓不等于锁住产品每一毫米,也不提供工程级尺寸约束。对于准确包装、品牌字样或真实建筑细节,最终仍需按源材料校对。创作者得到的是围绕同一结构继续试不同视觉方案的方式。

采用时请认准 Stable Diffusion 3.5 Large:官方仓库也支持 Medium、Large Turbo,但这组三个 ControlNet 明确面向 Large,不能直接把家族名当成兼容保证。代码与权重也分开,仓库代码采用 MIT,模型使用 Stability Community License;模型卡按年收入一百万美元门槛区分许可,下载文件需要登录 Hugging Face 并接受条件。已经会用节点式工作流的人可沿官方链接进入 ComfyUI;本篇解析的是官方输入方法,没有把样例命令当成已完成的本机生成。

原始资料:Stable Diffusion 3.5 Large 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享