[人物一致性]全套工作流详细指南(第四篇)动物IP形象数据集制作指南
前言:
通过骨骼图只能完成真实人物或动漫人物的创作,那么对于非人物的IP形象就带来了困扰,前段时间刚发布的redux模型能够非常不错的保持风格和一致性,所以就给我带来了灵感,通过图像融合可以非常轻松的完成动物数据集的制作,如果再配合fluxfill+redux完成扩图就可以进一步丰富数据集的多样性,那么本篇文章将详细的描述数据集制作的整个过程。
我基于这个方法训练的Lora模型:https://civitai.com/models/991000
全部内容整合包百度网盘:https://pan.baidu.com/s/1kMWahSx3_5Ht0m95yrl_XA?pwd=728c
全部内容整合包夸克网盘:https://pan.quark.cn/s/f0aeb1899a47
数据集生成可以有多种方式,如果要生成动物的IP形象,可以直接通过Flux模型生成,就像IC-Context-lora所述一样,Flux模型本省就具有上下文能力,只是我们要通过怎么样的方式去调用这种性能,如下图所示基础的Flux文生图工作流,可以通过简单的提示词去生成对应的IP形象:(该工作流可在网盘下载)
上述提示词为:A design with multiple perspectives of a cute little raccoon on a pure white background, featuring nine different angles and actions, wearing a large yellow flat topped straw hat, blue big eyes, cute pink tail, rich colors, and accessories,
翻译:一个在纯白色背景上有多个视角的可爱小浣熊的设计,有九个不同的角度和动作,戴着一顶黄色平顶草帽,蓝色大眼睛,可爱的粉红色尾巴,丰富的色彩和配饰,
假如说要生成一致性的数据集,那么提示词当中“多视角xxx的设计图”是十分重要的存在,设计图本身的概念就牵扯到一致性,所以大家要注意将这句话写在提示词的前面增加提示词的权重以及模型的遵守能力,但是该方法生成的数据集只有9张,不足以支持我们完成Lora模型的训练(推荐20张以上,并且包含多个视角多种分辨率多种表情),所以说下一步我们可以通过redux+fluxfill的方式去完成我们额外数据集的制作,并且保证形象的一致性。
扩图结果如下图所示,从原来的3*3到5*5,数据集增加到25张,并且很好的保持了一致性,比如角色的装饰以及粉色的尾巴,那么这些数据集经过分割和放大之后就可以完成lora模型的训练,如果觉得质量还有待提高,那么可以经过后续的修复完成数据集的制作。(该工作流在网盘中为Fluxfill+redux)
在该工作流当中,进行扩图不仅要用到redux进行原图的形象参考,还需要使用到提示词进行控制,这个时候我们可以通过“一致的形象”等提示词去增加模型的一致性控制能力。
那么我们还可以基于redux进行图像的融合,完成我们动物人数据集的制作,将之前的人物图像和动漫形象进行合并,参考出图,如下图所示可以将之前生成的人物数据集作为融合图的一部分去控制最终出图的形象分布,随后将需要融合的动物形象作为第二个条件进行输入,经过融合即可完成动物人数据集的制作,但是可能数据集中角色表情以及脸部朝向不够丰富,后续我们可以通过图像反转完成视角的转换,也可以通过多次运行 工作流改变种子去生成多张数据集,从中选择形象相近的角色去完成数据集的选取。(该工作流为网盘中redux+duble)
经过数据集的处理和筛选,我们可以选择20张左右的数据集去尝试进行标签标注,此过程特别的重要,B站视频有详细描述标签标注的细节,如果做lora训练,该内容为必须学习内容,请大家足够重视,标注后的数据集以及标签我都有上传到网盘(dreamoo放大后的数据集文件夹中),大家可以参考进行个人数据集的标注。
随后就是模型训练,训练的工作流以及参数等内容均在网盘中有提供,不想自己配置插件和环境的可以下载“整合包-人物一致性”去完成Lora模型的训练,细节大家可以观看该视频进行学习,这里不做赘述了,最终lora模型效果如下图所示,大家可以在网盘当中下载该模型进行测试,这个角色名字叫做“dreamoo”,祝大家玩的开心。