【ComfyUI插件】ComfyUI_Noise节点
前言:
__ComfyUI_Noise__是对ComfyUI中的噪声进行控制的一个插件库,该库可以完成图像噪声的反推,并通过采样再以几乎无损的方式返回原图,通过该库的使用可以更好的帮助图像恢复原始的相貌,非常适合在生成视频领域用作人物转绘使用。
目录:
一、BNK_NoisyLatentImage节点
二、BNK_SlerpLatent节点
三、BNK_GetSigma节点
四、Inject Noise节点
五、BNK Unsampler节点
安装方法:
在ComfyUI主目录里面输入CMD回车。
在弹出的CMD命令行输入git clone xxx,即可开始下载。
github项目地址:https://github.com/BlenderNeko/ComfyUI_Noise.git
一、BNK_NoisyLatentImage节点
节点功能:这个节点可以生成纯噪声的潜空间图像,并且可以选择噪声生成的方式是CPU产生还是GPU产生。
重要参数:
source -> 噪声产生的位置 **可选择CPU或者GPU
注意:下图为CPU和GPU产生噪声的对比。
注意:并对产生的噪声图像应用相同的正反向提示词和种子进行生图对比。
下图通过Image Compare (mtb)节点对比不同图片之间的差异,分别对比CPU产生的噪声图和GPU产生的噪声图,并在该图之上进行去噪生图,最终对比两个生图之间的差异。
从结果可以看出CPU和GPU产生的噪声存在差异,但是差异很小不足以完全影响最终出图的质量或者构图,所以在选择方面可以进行平替。
二、BNK_SlerpLatent节点
节点功能:该节点为潜空间混合节点。
重要参数:
factor -> 潜空间图像混合比例,可以理解为透明度
注意:如下图所示进行潜空间的图像混合(不知道这种方式会不会更加有利于换背景,物体和背景的融合)
三、BNK_GetSigma节点
节点功能:这个节点根据模型,选择采样器和调度器去计算开始时产生的噪声量。
重要参数:
model -> 选择要预测的模型
下图为该节点的初步用法,理解还不够深刻,未能想到更好的使用方式,可能需要更加深刻的研究才能够发现这个节点的真正含义。
四、Inject Noise节点
节点功能:该节点可以将噪声注入到原始潜空间图像中,增加画面的细节。
重要参数:
latents -> 空的潜空间图像
mask -> 注入的噪声蒙版区域
注意:如上图所示工作流使用。
五、BNK Unsampler节点
节点功能:该节点将原始图像进行反向采样,获得对应方法和对应条件信息的图像的原始噪声图像,可以通过二次采样还原原始图像。
重要参数:
model -> 需要选择对应的模型进行噪声预测
cfg -> 推荐使用1进行噪声反推,生图也推荐1
注意:下图所示,我们首先上传一张原图,然后加载一个文生图工作流,通过该节点进行噪声预测,然后使用预测的潜空间图像,使用相同的配置,比如VAE,采样器,条件信息等进行噪声的去除,最终生成和原图一样的图像,通过image对比节点,可以看出没有出现差异(大部分情况会存在部分差异)。
孜孜不倦,方能登峰造极。坚持不懈,乃是成功关键。