【ComfyUI插件】ComfyUI-PhotoMaker-Plus节点
前言:
ComfyUI-PhotoMaker-Plus插件类似于人物脸部迁移,通过内置提示词模板可以增加画面的丰富程度以及美学特征,通过PhotoMaker模型的加载可以完成人物脸部信息的迁移,嵌入clipconditioning进行去噪过程的干预,本篇文章将对该插件的相关节点进行分析以及示例工作流的分享。
目录:
先行:安装方法
一、CreateFadeMask节点
二、ColorMatch节点
三、GetImagesFromBatchIndexed节点
四、GetImageRangeFromBatch节点
五、ImageGrabPIL节点
六、GenerateNoise节点
安装方法:
在ComfyUI主目录里面输入CMD回车。
在弹出的CMD命令行输入git clone xxx,即可开始下载。
github项目地址:https://github.com/shiimizu/ComfyUI-PhotoMaker-Plus.git
一、Apply PhotoMaker Style节点
节点功能:该节点通过内置的提示词模板进行提示词的补充,根据选择的不同风格生成不同的提示词,具体的模板内容可以查看ComfyUI\custom_nodes\ComfyUI-PhotoMaker-Plus\style_template.py文件,通过笔记本打开即可查看。
参数:
positive -> 输入的正向提示词,字符串的类型
negative -> 输入的反向提示词,字符串类型
style_name -> 选择使用到的模板类型
如下图所示,该节点即为以下文件的内容补充,当我们选择Digital Art类型时,正向提示词会自动填充到{Prompt}的位置,该方法和prompt styler插件的原理一致。
如下图所示,即为该节点通过模板的替换,将原始的提示词进行扩充得到的内容。
二、PhotoMaker Loader Plus节点
节点功能:该节点为选择模型进行加载,现在已经有三个模型提供选择,分别是ms_adapter,photomaker-v1,photomaker-v2。
该节点的模型下载地址为:
Photomaker-v1:https://huggingface.co/TencentARC/PhotoMaker/tree/main
Photomaker-v2:https://huggingface.co/TencentARC/PhotoMaker-V2/tree/main
这两个模型应该放在ComfyUI\models\photomaker
三、PhotoMaker LoRA Loader Plus节点
节点功能:该节点类似于lora节点,进行photomaker模型的加载,在unet进行作用。
参数:
photomaker -> 该节点用来加载模型
四、PhotoMaker Encode Plus节点
节点功能:该节点用来进行conditioning条件混合,首先使用clip模型对文本进行编码,随后使用insightface模型对输入图像的人脸进行处理编码,随后将两部分编码后的内容进行合并输出。
参数:
image -> 上传人脸图像,多张图像可以提升相似度
instightface_opt -> 可选择的模型输入选项
trigger_word -> 类似于lora使用需要使用到的提示词,默认即可
五、默认实例工作流
该工作流位置插件对应的custom_nodes\ComfyUI-PhotoMaker-Plus\examples目录中
如下图所示,输入图像进行人脸分析,随后生图,能在一定程度保持人脸的相似度。
在多步采样过程中使用两个采样器进行分离,其中第一个采样器负责0-10步的采样过程,第二个采样器负责10-25步的采样过程,第二步的正向条件信息加入了photomaker的脸部信息嵌入,所以前10步可以看到无人脸迁移效果。