“像呼吸一样轻松制作画风Lora” CoppyLora的应用

2024 / 7 / 6

AI 应用开发者 tori29umai 在 FANBOX 上发布了简易 LoRA 制作应用程序“CoppyLora webUI ”的介绍和验证文章。通过将 AI 画作调整到自己的风格,使得即使是初学者也能创作出更符合自己风格的作品,创作出属于自己的作品。

相关推文1

相关推文2

CoppyLora webUI 的特点是,只需准备一张图片即可进行追加学习,应用操作也非常简单,即使没有任何追加学习知识的人也可以轻松制作 LoRA。虽然无法像 Civitai 公开的那样制作完全符合预期行为的高精度 LoRA,但能够如此简单地制作出符合个人风格的 LoRA 是非常具有创新性的。

1.CoppyLoRA(复印机LoRA法)的原理

2.安装方法

3.界面操作方法和参数解读

4. 总结

1. CoppyLoRA的原理

所谓“CoppyLoRA”是指故意过度学习一张图像,创建一个无论输入什么 Seed 值都只能生成与输入图像一样的图像的 LoRA,然后提取常规模型与该 LoRA 之间的“差异”,制作出具有预期效果的 LoRA 的方法。通常的 LoRA 是通过追加学习数十张图像和文本对来让其记住角色、画风、构图等内容,因此可以说是一种相当特殊的 LoRA 学习方法。

请查看这两张图片。左边是由 text2image 生成的 AI 风格的“基础图像 1girl”。右边是根据某种规则变化的插图。

对于这两幅图像的差异,最直观的就是从细节丰富的彩色图像变成了细节精简的线稿,当我们将这两幅图像上传到CoppyLora时,CoppyLora会分析并记住这样的差异,从而对我们后续输入的新图像应用该变化规则。

但是,这种方法制作出来的Lora,控制能力非常有限,对于复杂的变化,它没办法很好的处理,同时,使用过高权重应用CoppyLora也会影响画面的整体构图。

2. 安装方法

遵照github中的说明就可以进行本地版的安装了

github链接

3. 界面操作方法和参数解读

①作者设定的基础输入图像,无法更改,用户必须在此图像的基础上创建自己的特殊画风,放入②中进行Lora训练。

追加学习模式?

下方的③用于设定Lora的名字,而④则用于设定追加学习模式,我个人认为这也代表了CoppyLora适用的几个画风范围,有以下几种:

「Lineart」:如果②中输入的是黑白线稿,建议使用此模式

「Grayscale」:如果②中输入的是灰度图像,建议使用此模式

「Grayscale_noline」:如果②中输入的是没有线条的灰度图像,建议使用此模式

「Color」:如果②中输入的是彩色插图,建议使用此模式

「Color_noline」:如果②中输入的是没有线条的彩色插图,建议使用此模式

如果要进一步通俗说明这个追加学习模式,你可以认为这就像专业的选择,虽然我们同样都是学习计算机大类,但是有些人是在软件工程专业学习计算机,有些人是在人工智能专业学习计算机。类比过来,同样是学习图像差异,但是由于输入图像不同,我们有时需要”在灰度图像中学习图像差异“,有时又需要”在彩色图像中学习图像差异“,这大概就是追加学习模式的意义。

4. 总结

我不能说这个CoppyLora有多好用,在16G VRAM的RTX4080上,它训练一个Lora的时间是25分钟,这意味着如果你使用的是性能更弱的显卡,你可能需要半个多小时以上才能得到产出。

即使相较于传统的画风Lora训练方法,它的时间已经非常短了,但是代价也很明显,Lora的控制能力非常有限,而且对图像的干扰并不小,权重在1时的图像根本无法欣赏.

它更适合一些简单图像之间的快速转化,比如你身为一个画师,你想要快速的把自己的涂鸦转化成自己一直以来的线稿风格,那么这个工具会很适合你。