前言:

Flux 模型本身可以在一定程度上保持图像风格和主题的一致,而 In-Context -LoRA作为一种微调手段,通过增强上下文关系,使得图像之间更加协调,风格一致,进一步增强Flux模型的一致性保持,尤其适用于需要连贯故事情节和一致风格设计的场景。

模型以及示例工作流下载:https://pan.quark.cn/s/ef8c64027412模型放置在models/loras目录中,拖入示例工作流即可进行使用。

官方页面:https://huggingface.co/ali-vilab/In-Context-LoRA

在该页面可以看到详细的提示词模板以及图片设置参数,如下图所示,请严格按照官方给出的示例进行图片尺寸设置,以及提示词的书写规范,因为标签会严重影响出图质量。

image

一、film-storyboard的LoRA模型使用。

如下图所示,使用默认参数的出图效果,同一个图片的三个画面,对于任务一致性的保持很好,而且场景的复杂程度以及细节有很多,只是不容易保持多次生成的人物都是同一个。

image

可以使用单独的Flux lora来进行出图,比如上次训练的人物一致性LoRA,我们可以尝试去生成多张人物相同的图像。因为在LoRA训练的时候没有让衣服属于人物的特征,所以任务的衣服并没有保持一致。image

二、font-design的LoRA模型使用。

如下图所示,使用默认参数的出图效果,该LoRA模型主要是完成平面设计。因为Flux模型优秀的文本生成能力,再加上该LoRA模型的一致性保持能力,能够非常优秀的去完成海报的设计,并且能够保持画风的一致性,还能够保持文本的理解能力。image

使用到的提示词如下:The four-panel image showcases a playful bubble font in a vibrant pop-art style. [TOP-LEFT] displays “Pop Candy” in bright pink with a polka dot background; [TOP-RIGHT] shows “Sweet Treat” in purple, surrounded by candy illustrations; [BOTTOM-LEFT] has “Yum!” in a mix of bright colors; [BOTTOM-RIGHT] shows “Delicious” against a striped background, perfect for fun, kid-friendly products.

翻译后:这张四格图片展示了一种充满活力的波普艺术风格的俏皮泡泡字体。[TOP-LEFT]以亮粉色显示“Pop Candy”,背景为圆点;[上图]显示了紫色的“甜食”,周围是糖果插图;[BOTTOM-LEFT]以明亮的颜色混合着“美味!”;[BOTTOM-RIGHT]在条纹背景下显示“美味”,非常适合有趣、适合儿童的产品。

我们可以修改提示词去生成不通风格的图像,

使用到的提示词如下:This four grid image showcases a mysterious and sophisticated black grey art style with a black premium font design. [TOP-LEFT] Display “High Quality” in gray white color with a background of patchy advanced content; The picture shows a golden “Title” surrounded by men’s products; [BOTTOM-LEFT] blends “taste” with a deep and sophisticated color scheme; [BOTTOM-RIGHT] displays “Advanced” against a striped background, making it perfect for high-end products.

__
翻译后:这张四格图片展示了一种神秘而又高级的黑灰艺术风格的黑色高级字体设计。[TOP-LEFT]以灰白颜色显示“High Quality”,背景为片状高级内容;[上图]显示了金色的“Title”,周围是男士用品;[BOTTOM-LEFT]以低沉高级的配色混合着“品味”;[BOTTOM-RIGHT]在条纹背景下显示“高级”,非常适合高端产品。__

image

三、ppt-templates的LoRA模型使用。

如下图所示,使用默认参数的出图效果,该LoRA模型主要是完成PPT的设计,并且能够给出一致的PPT风格,能够根据你输入的内容去生成适合你主题的风格。如下图所示是一个瓜果蔬菜的烹饪工作坊的PPT设计,大模型给出了一种页面的排版方式。

image

我们通过修改提示词可以生成不同的主题的PPT,但是由于图像中留给文字的像素点并不多,所以最终出图文本基本上是不能使用的,所以更多的是作为一种风格参考来使用。image

更多的性能发现以及LoRA模型的使用可能需要不断的测试以及发挥自行的创造力,所以大家可以尽情的测试和使用,同时我们也可以训练自己的IC-Context-Lora,和一般的Flux的Lora模型训练过程一样,只是数据集需要自行准备和进行标签标注,祝大家玩的开心!