[人物一致性]全套工作流详细指南(第三篇)批量图像修复以及分割多表情
前言:
人物一致性一直是难以解决的难题,最近从Mick大佬处获得灵感,我们可以使用Lora模型去进行人物特征的控制,从而完成一致人物的创作,但在这之前我们需要经过数据集生成,数据集处理以及Lora训练等过程,所以接下来我会用几篇文章将整个过程进行完整的复刻,并且会将中间产生的各种对比进行展示。
我基于这个方法训练的Lora模型:https://civitai.com/models/922842/a-character-named-ssx
全部内容整合包百度网盘:__ https://pan.baidu.com/s/1kMWahSx3_5Ht0m95yrl_XA?pwd=728c____ __
全部内容整合包夸克网盘:https://pan.quark.cn/s/f0aeb1899a47
下图为高清修复工作流,在确定方法之前做了很多的测试,本篇文章将对测试过程中出现的各种问题进行详细的描述,以及对比各种放大插件之间的区别,可能不同风格的图像各有区别,目前我个人测试下来动漫最优的组合为StableSR进行图像的去模糊,然后使用Flux+upscaler进行高清放大。
一、假如使用Supir进行图像修复
下图为使用SUPIR进行高清放大的工作流,使用SDXL的加速模型配合使用,提示词给出anime man,让他进行修复。
下图为修复后的结果展示,从结果来看,在人物的SUPIR放大过程中,会向图像中添加纹理(可能真实人物使用SUPIR会更加适合),比如人物的头发会出现多余的线条,眼睛的瞳孔也会因为纹理的添加而导致最终非动漫的效果,丧失了原图眼睛的光晕,但是去模糊效果还是很不错的。
二、使用FLUX+SDupscaler进行放大。
当我们使用SDupscaler的时候,需要去选择合适的放大模型,我在网站上找了很久找到了一个Anime的放大,但是配合Flux放大效果依然不好。
工作流如下图所示,从放大结果来看原图的模糊程度并没有去除,可能是因为重绘幅度过低的原因,但是当我们提高重绘幅度还是会造成原图的变化,更甚者会造成最终的图像出现明显的接缝。
下图为不同重绘幅度下的表现,可以看到放大的效果并不好,而且最终的结果是图像既没有去模糊也没有很好的处理线条轮廓,所以这种方法就不做推荐(大家可以自行测试,也许某种参数下会表现更好。)
三、因为SUPIR可以完成去模糊的操作,所以不需要添加StableSR去做事先的处理,所以这次我们选择直接使用Flux+UPscaler进行放大。
下图为Flux+upscaler放大工作流,使用到了Florence进行提示词的反推。
当我们给出的控制强度较低时,模型可能会在放大的过程中对图像进行变化,而且没有整体出图,可能出现一致性出现问题,最容易出现的情况就是人物的眼睛会有颜色的改变,但是当我们提高控制强度的时候,最终的出图一致性保持较好但是会产生拟合原图的模糊情况。但这也给我们提供了很好的思路,就是控制强度高能做到几乎无差的分辨率调整放大。
四、StableSR去模糊后使用Flux+upscaler进行放大修复(最终方法)
该方法即为最终敲定的方式,就如上面的分析所示,假如我们使用高强度的upscaler去进行修复,能够最大程度地保证原图的一致性,但是会难以去除原图的模糊,导致数据集的质量低下(非常影响Lora的训练效果),所以这个时候我就想到了StableSR插件,它本身就可以较好的保持一致性去除模糊,在配合Flux+upscaler就可以非常好的去完成这一项操作。
下图为初步进行去模糊操作的结果,从右边可以看到,StableSR对原图几乎没有改变的情况下,进行了图像的去模糊操作,让图像的马赛克几乎消除完毕,随后可以再利用FLUX+UPscaler优秀的一致性保持去完成后续的放大操作。
下图为原图-去模糊-高清放大后的图像,最终的结果我非常满意,在加上整体的时间消耗并不大,可以让我在较短的时间完成二十多张数据集的放大修复过程,并且保持一致性。