[高清放大方法汇总]收集目前高清放大工作流进行测试和分享(三)
前言:
因为大模型本身性能的限制,所以在ComfyUI中初步图像生成只能以较低分辨率(512*512或1024*1024)进行生图,但又因为使用场景的不同,需要图像进行放大或者修复或者高清处理,那么我们就必须掌握图像的放大方法,而放大模型众多,放大插件众多,再加上不同的风格所面临的放大场景不同,就给我们的选择带来了诸多困扰,本文将测试目前的多种放大方法,尽可能从原理进行分析给各位提供参考,希望大家批判性的吸收本文的内容,不要将此篇文章“奉为圭臬”。
第七种:Ultimate SD Upscale
该方法为使用Ultimate SD Uplscale插件进行图像的高清放大,该插件的使用需要跟大模型配合,并且需要使用到放大模型,而且对接缝处有相应的操作,参数也较多,所以使用的过程存在很多的疑难点以及参考方案,本文将会尽可能地将这些细节给进行描述,并提供相应的示例工作流放在网盘当中,可查看该文章获取。
下图为SD放大的基础示例工作流,需要配合大模型完成重绘操作,所以说在大模型的选择上就存在多种方案,比如可以使用SDXL,FLUX架构的大模型,或者使用真实系模型,或者动漫系列模型,那么不同的模型对最后的放大效果会产生较为严重的影响,特别是细节的丰富程度会存在较大差别。
下图为FLUX模型和SDXL模型的对比放大工作流,从放大结果来看效果差不多,但是因为重绘幅度较低所以给模型发挥本身性能的空间不大,假如重绘幅度提升,那么FLUX模型是要优于SDXL模型的,而且我们的问题提示也较为重要,本示例中给出的文本较为简单,大家可以自行测试效果。
下图为真实系的大模型和动漫大模型之间的放大对比,底模的性能对最终图片的影响较为强烈,因为Pony模型独特的数据集设置,所以说需要假如额外的质量提示词进行性能的调用,还有就是-2的clip set layer去设置最优的conditioning,最终出图如下所示,Pony模型会给原图加上很多的阴影去突出毛发的细节,这是真实人物对比动漫所多的内容,所以说,在使用SDupscale进行图像放大时,迎合场景的大模型选择会提升最终的图片放大质量。
SDupscale在放大之前需要对原图先进性指定倍数的放大,在Ultimate SD Upscale节点当中的upscale_by参数体现,而这个时候使用到的是预先选择的放大模型,所以在预处理的过程中,放大模型的选择会影响最终的出图,一定要选择合适的放大模型,具体可看该篇文章。
SDupscale为了能让我们在较低的显存上进行图像的放大,就进行了分块处理的方式,也就是说2048*2048的图像,如果设置块大小为512*512,那么我们要进行16次的重绘,才能完成最终图像的一个生成,那么这个时候每一块的扩散过程就需要用到“提示词,去噪强度”等参数,所以我们的提示词的书写就尤为重要,因为SDupscale并没有办法对单独的某一块输出对应的提示词,所以就需要使用统一提示词,所以我们的正反向提示词,就尽量"模糊,全局"进行书写,比如8k,hdr,这些质量提示词,不管作用到原图当中的哪一块都可以较好的适配。下图所示的参数就决定了,块的大小。
又因为分块的存在,所以相邻块之间的接缝会进行二次的重绘,会导致原图出现明显的放大断层,如下图所示,避免该情况有几种方式,第一种就是较低的重绘幅度进行放大,这样对原图的改变较低,第二种就是SDupscale提供的可以将块进行扩展,从而避免同一个接缝面临两次的重复去噪,第三种就是重绘完成后在对接缝进行单独重绘。
下图为三种消除接缝的效果对比,从最终效果来看,32的边缘扩展非常有效的解决了接缝的问题,而接缝的二次重绘反而是的最终的效果变得更差。
下图为宏观对比工作流展示。