前言:

蒙版作为众多图片处理的前置操作,有着至关重要的地位,在ComfyUI的众多插件中,有例如SAM,YoloWorld-EfficientSAM等多个蒙版探测插件,本文将对常用的蒙版探测插件以及效果进行测试,希望可以为后续的工作流搭建提供较好的参考效果。

一、ComfyUI-YoloWorld-EfficientSAM

image

上图为该插件的基础用法,首先__加载YOLO模型__进行物体的检测,如图中紫色框选区域为YOLO模型的效果,随后__使用SAM模型__进行物体的分割,根据提示词的内容进行茶杯主体的检测和分割。

该方法生成的蒙版为__二值化蒙板__,及蒙版的边缘区域锋利没有灰色值进行过度。

二、comfyui_segment_anything

__
__image

上图为SAM插件的基础用法,该插件共提供6种不同大小的模型,模型越大效果越好但是占用显存越多,该模型使用可以通过输入提示词进行画面物体的分割。

image

该插件安装之后,可以通过在图片上右键选择Open in SAM Detector进行蒙版的探测和编辑,具体可查看该文档

三、ComfyUI-Inspyrenet-Rembg

image

上图为Inspyrenet的基础用法,仅需一个节点即可自动识别画面的主体进行分割,缺点在于该插件不支持文本输入进行物体分割,但是分割精确度较高,显存占用较少。

四、BirefNet插件(使用layerstyle插件为例)

image

下图为该模型的基础用法, 通过birfnet进行物体分割,缺点在于不支持文本输入进行引导,分割效果较为不错,该节点中还带有VITMatte细节增加方法,使用该方法需要下载对应的模型放置在__models/vitmatte__文件夹下。

五、ComfyUI-Florence2

image

上图为florence2的使用方式,该插件提供多组模型选择,节点会自动下载模型放置在__models\LLM__文件夹下,需要保证网络没问题自动下载,该模型__主要定位为语言模型__,可以对图像进行识别生成提示词,也可以进行物体的分割和识别,如下图__根据不同的选项可以调用模型的不同功能__。

image

该模型的分割效果相较于其他模型稍有逊色,但是功能相对较为齐全。

六、ComfyUI-BRIA_AI-RMBG

image

上图为该插件的基础用法,该插件需要下载模型放置到插件目录对应的位置:__custom_nodes\ComfyUI-BRIA_AI-RMBG\RMBG-1.4,__缺点为该模型不能够进行文本干预,依然是根据画面内容自动识别主体进行分割。

七、根据颜色自动识别蒙版生成image

上图为根据颜色进行蒙版的识别,在controlnet的预处理插件中可以使用下图所示选项生成画面的分割内容,然后根据Color To Mask节点进行色彩的识别,生成蒙版。

image

八、通过ComfyUI自带mask编辑功能进行蒙版的生成

image

如上图所示,在ComfyUI中可以右键图像载入节点,选择Open in MaskEditor进行蒙版的编辑,随后在mask选项后进行蒙版的输出。

九、RGBA图像进行蒙版的输出或加载

image

如上图所示,有些图片为PNG格式,自带有透明通道,可以通过图像加载节点进行蒙版的输出,注意该方式加载的蒙版为除主体以外的蒙版。