Tensor.Art
在线生图

关于喵?!多概念lora的一些细节


更新

lora模型链接:https://tusi.cn/models/718595960474874205

喵?!lora使用了约18万张图片进行训练,其中大部分是一些热门动漫/游戏/画师的作品/掺杂了小部分的AI作品

所以大部分热门游戏的角色该lora配合hansv35使用时都可以直出,不需要使用xxx角色lora(不过这不是喵?!lora的主要作用)

喵?!lora和hansv35都是多画风的,而它们可以在一起使用,以达到风格混合的操作。和novelai3不一样的是。在novelai3中{风格A+风格B=风格C},而在这里它是{风格A+风格B=风格AB}。原因可能是它的训练量不够吧。

喵?!有四个质量词,分别是Best-A,Medium-B,Low-C,Bad-D。在正常使用时只需要将质量词置入提示词的第一位即可。

它还有约300个画风词。例如Chen_bin,shiratama\(shiratamaco\)这些...在使用时需要将画风词置入提示词的第二位。需要注意的是,置入在第二位的画风词为主导画风(在不增加其他风格提示词的权重的情况下)。

例如

仅shiratama\(shiratamaco\)风格

仅Chen_bin风格

在shiratama\(shiratamaco\)提示词的第二位提示词使用了Chen_bin风格

由于第二位提示词是主要控制整个画面风格的提示词。如果这个风格提示词在第二位那它就是整个画面的主要风格,不过它依然会被其他风格提示词影响。

当然,还有一些其他的奇妙操作。例如分步渲染强混合两种风格像这样[Chen_bin|shiratama\(shiratamaco\)],还可以和底模的风格进行混合(没想到吧!)例如与hansv35的3D_Style,进行混合[Chen_bin|3D_Style],很怪吧!还有一些更高级的操作例如break语句精确控制等高阶提示词编写方法。(虽然在吐司大部分情况下用不了就是了)。

其他:

喵?!lora是变速箱的升级版。因为底模的不同,所以不算同版本。

喵?!仅兼容hansv35。在其他的任何模型上使用都会导致画风的偏移。严重的会无法出图,画面崩坏(所以不要想着融我lora了,只能融到hansv35里的)

关于新版本:我的版本更新与hans同步更新,当hans更新新的二次元底模版本时,我会使用他的底模进行训练。这时,更新的lora版本是完整版。平时更新的都是裁剪版。因为我的数据集已经及其庞大了(百万级)。

有这么大的数据集为什么不训练全量微调:一个字,穷,全量微调训练起来速度太慢了,烧钱。我又没有自己的显卡。烧不起。

关于喵?!lora的训练参数以及训练方法(我是臭民科。别杠,杠就是你对)

Unetlr=4e-5(学习率和bs挂钩)

textlr=4e-6(学习率和bs挂钩)

batchsize=5(低bs训练,追求更好的细节)

gradient_checkpointing=true(不开爆显存)

gradient_accumulation_steps=1(不开爆显存)

optimizer_type=AdaFactor(问就是习惯,用其他的咳嗽(lion,aw8b,轮椅神童都用过,别杠,杠就是你对))

resolution="1024,1024"(懂的都懂,不懂的说了也不懂)

enable_bucket=true(分桶训练,将数据集按照分辨率划分成不同的桶)

min_bucket_reso=768(最小桶分辨率)

max_bucket_reso=1_536(最大桶分辨率)

不开金字塔与噪声偏移

max_train_epochs=1(我的训练方法只训练一个ep,出了就是成了,一切关于训练是否拟合的计算在处理数据集时就已经计算好了)

数据集处理操作

由于喵?!lora是一个多概念lora。它的每个概念的被训练量都是不同的。

而我根据每个数据集的评级(best-A,medium-b,low-C,Bad-D)给他们设定合适的re

平衡大数据文件夹和小数据文件夹的原始step量。让他们尽量平衡(而不是re1训练,出来的大概率会有些画风训练过量,而有些欠拟合)

再加入泛化集。不让训练的某个概念影响到原始画风。(如果你跑图的时候什么风格词都不加,跑出来的大概率是泛化集的东西

在进行数据集处理时我先使用超分辨率工具将所有任意h或w低于832的图片进行超分

随后再压缩回任意等宽高最高h,w至1536(因为我的bucket分辨率为1536)

随后进行数据集校验(使用脚本跑一遍检查图片格式是否正常图片是否损坏图片是否有对应的标注是否有其他怪东西等操作)

数据集打标(第一位为质量词,为我的主观评级“说人话就是第一眼看起来好不好看”,第二位为画师名称,这方面不细说懂得都懂。)

(当然我在训练其他lora的时候还有一些其他的奇妙操作(例如多次训练,混合训练等奇妙操作)这些就不讲了,对我有用对其他人就不一定了。每个人的训练方法都不一样。能训练出一个好的模型,那它就是好(如果几张图开256dim的话当我没说)

10
0

评论