前言:

ComfyUI-PhotoMaker-Plus插件类似于人物脸部迁移,通过内置提示词模板可以增加画面的丰富程度以及美学特征,通过PhotoMaker模型的加载可以完成人物脸部信息的迁移,嵌入clipconditioning进行去噪过程的干预,本篇文章将对该插件的相关节点进行分析以及示例工作流的分享。

目录:

先行:安装方法

一、CreateFadeMask节点

二、ColorMatch节点

三、GetImagesFromBatchIndexed节点

四、GetImageRangeFromBatch节点

五、ImageGrabPIL节点

六、GenerateNoise节点

安装方法:

在ComfyUI主目录里面输入CMD回车。image

在弹出的CMD命令行输入git clone xxx,即可开始下载。image

github项目地址:https://github.com/shiimizu/ComfyUI-PhotoMaker-Plus.git

一、Apply PhotoMaker Style节点

节点功能:该节点通过内置的提示词模板进行提示词的补充,根据选择的不同风格生成不同的提示词,具体的模板内容可以查看ComfyUI\custom_nodes\ComfyUI-PhotoMaker-Plus\style_template.py文件,通过笔记本打开即可查看。

image

参数:

positive -> 输入的正向提示词,字符串的类型

negative -> 输入的反向提示词,字符串类型

style_name -> 选择使用到的模板类型

如下图所示,该节点即为以下文件的内容补充,当我们选择Digital Art类型时,正向提示词会自动填充到{Prompt}的位置,该方法和prompt styler插件的原理一致。image

如下图所示,即为该节点通过模板的替换,将原始的提示词进行扩充得到的内容。

image

二、PhotoMaker Loader Plus节点

节点功能:该节点为选择模型进行加载,现在已经有三个模型提供选择,分别是ms_adapter,photomaker-v1,photomaker-v2。

image

该节点的模型下载地址为:

Photomaker-v1:https://huggingface.co/TencentARC/PhotoMaker/tree/main

Photomaker-v2:https://huggingface.co/TencentARC/PhotoMaker-V2/tree/main

这两个模型应该放在ComfyUI\models\photomakerimage

三、PhotoMaker LoRA Loader Plus节点

节点功能:该节点类似于lora节点,进行photomaker模型的加载,在unet进行作用。

image

参数:

photomaker -> 该节点用来加载模型

四、PhotoMaker Encode Plus节点

节点功能:该节点用来进行conditioning条件混合,首先使用clip模型对文本进行编码,随后使用insightface模型对输入图像的人脸进行处理编码,随后将两部分编码后的内容进行合并输出。

image

参数:

image -> 上传人脸图像,多张图像可以提升相似度

instightface_opt -> 可选择的模型输入选项

trigger_word -> 类似于lora使用需要使用到的提示词,默认即可

五、默认实例工作流

该工作流位置插件对应的custom_nodes\ComfyUI-PhotoMaker-Plus\examples目录中

image

如下图所示,输入图像进行人脸分析,随后生图,能在一定程度保持人脸的相似度。

image

在多步采样过程中使用两个采样器进行分离,其中第一个采样器负责0-10步的采样过程,第二个采样器负责10-25步的采样过程,第二步的正向条件信息加入了photomaker的脸部信息嵌入,所以前10步可以看到无人脸迁移效果。

image