【ComfyUI插件】ComfyUI-layerdiffuse插件
前言:
ComfyUI-layerdiffuse是可以生成无背景图像,例如在素材设计,表情包设计,贴纸设计等各方面都有用武之地,掌握这些节点对后续的自行搭建工作流有很大的帮助,希望大家用心学习,掌握各个节点的用法,并根据示例进行自行搭建工作流。
目录:
一、Layer Diffuse Cond Apply节点
二、Layer Diffuse Apply节点
三、Layer Diffuse Decode (RGBA)节点
四、Cond Joint ApplyLayer Diffuse节点
五、Layer Diffuse Decode (Split)节点
六、Layer Diffuse Decode节点
八、Layer Diffuse Joint Apply节点
"无背景并填充"示例工作流
一、Layer Diffuse Cond Apply节点
节点功能:这个节点将控制信息(SDXL,Foreground),注入到条件信息和模型中去控制模型出图的效果。
重要参数:
config -> 选择latent为前景还是背景
weight -> 这个参数会控制最终出图和上传图像的统一程度
下图所示工作流,为该节点选择__SDXL,Foreground__后,给传入的图像生成了相关的背景信息,背景通过正反向提示词控制内容,最终生成背景融合的图像。
这个工作流设置了__SDXL,background__的参数,然后我们上传的图像作为背景被传递扩散,最终前景出现与提示词符合的人物。
注意:测试了效果之后发现最终生成的图像会有色差,控制强度影响我们上传图像的相似度。
二、Layer Diffuse Apply节点
节点功能:这个节点通过给定不同的config参数,去修改模型的配置,从而引导模型生成额外的信息。
重要参数:
config -> 选择不同的配置文件
这个参数有三个可选项,分别是S__DXL注意力层注入,SDXL卷积层注入,和SD1.5的注入方法__。
下图是对__SDXL的两个不同的注入方式__做的对比,可以看出在注意力机制的注入背景并没有清除干净,在这次实验之下,使用Conv注入效果要好得多。
三、Layer Diffuse Decode (RGBA)节点
节点功能:从像素值中解码alpha通道值,将一个三通道图像转换为四通道的RGBA图像。
重要参数:
sub_batch_size -> 每次处理的批次大小 ***不影响结果***
下图所示绿色为该节点,该节点将decode后的图像进行二次处理,获得第四个通道的信息,从而输出无背景的图像。
四、Cond Joint ApplyLayer Diffuse节点
节点功能:这个节点只针对1.5的模型进行信息注入。
重要参数:
config -> 可选项有两个一个是image作为背景,一个是image作为前景
下图所示为上传一张背景图,使用1.5的模型,选择作为背景,提示词输入小狗,最终生成4张图像,分别是无背景小狗,和加入背景之后的小狗图像。
五、Layer Diffuse Decode (Split)节点
节点功能:该节点对图像进行处理,然后输出图像。
重要参数:
frames -> 是一个整数,指定了解码 RGBA 图像的频率 **frames<3的时候,第三个image参数无输出**
如下所示工作流,背景融合生成图像,这些节点目前存在主要问题就是会使得背景色差
六、Layer Diffuse Decode节点
节点功能:这个节点将图像解码并且输出对应的蒙版信息。
下图所示工作流,使用上述节点进行图像生成,模型会生成相应的图像以及图像对应主体的蒙版。
七、Layer Diffuse Joint Apply节点
节点功能:这个节点将条件信息分开注入模型,比如背景独立生成,人物独立生成后续进行合并。
重要参数:
fg_cond -> 前景提示词条件信息
bg_cond -> 背景提示词条件信息
blended_cond -> 综合提示词条件信息
如下图所示,我们使用四个提示词输入框,上面两个分别负责前景和背景,前景信息给出1girl,背景信息给出street等信息,最终输出为前景、背景和混合后的图像。
注意:使用此节点,batch_size必须为3.
八、Layer Diffuse Joint Apply节点
节点功能:这个节点将原图进行编码,取出原图中无需保存的信息。
重要参数:
blended_lent -> 拥有前景和背景的原始图像
latent -> 要去除的图像内容
下图工作流为去除上图中的人物,我们传入一张__有前景和背景的图像__,然后在传入我们要去除的景别,比如这里上传了前景,随后工作流会给我们__剔除不需要的景别__并且根据提示词填充其内容。
注意:图像较灰是因为layerdiffus的固有问题
"无背景并填充"示例工作流:
学习完以上节点,您就可以搭建“无背景并填充”示例工作流了
注意:该工作流可以生成无背景图像,并且输出对应的蒙版,后续可以根据蒙版进行补充内容。
工作流:https://pan.quark.cn/s/cca4a9004468
孜孜不倦,方能登峰造极。坚持不懈,乃是成功关键。