0 前言
我厌倦了传统AI 绘画一成不变的脸、姿势、风格,所以想要脱离混合模型。最初,我使用提示词,可始终无法达成某种微妙的线条、色彩、光影、质感、构图或故事性,甚至无法复刻模型偶然产生的惊艳风格。这种昙花一现仅与一般风格有细微差别,却从美学上引人入胜。因此,我想制作一种能完美学习艺术风格并稳定输出的模型。我从2022 年11 月开始收集素材训练风格化模型,特殊打标以区分那些仅有细微差异的素材,终于于2023 年年初在模型风格上自成一派,即AIDv1.0 模型。
为什么不练Lora 而要微调?我始终认为微调的效果要优于Lora。它不依赖于底模,所有的训练图像在训练中共同向着误差最低点前进,而不仅是最优化一块附加权重。但我也在探寻能够将特定风格完美融入大模型的方法,以减轻训练负担。
此后半年里,我自费两万多元,亲自裁图、打标、魔改脚本。训练步数从几千,几万再到几百万,训练设备从RTX3060,RTX3090 再到A100。从制作素材再到训练,AID 也逐渐成为了架构完整的工程项目。
在这之中,我发现只有当模型轻微“过拟合”到原图像的噪点时,才能对风格有最佳的学习。我尝试过拟合所有风格,并使用负面emb 学习过拟合噪点以平衡不同风格间的学习进度,由此制作了bad, badhand 和aid 系列。这种正则化方法为我带来了很好的结果。一个训练恰到好处的负面emb 不仅不会破坏底模的风格,还能助长风格的特征。
随着模型迭代,我认为我逐渐达到了SD1.5 的上限。即便是微调,那些精美插画风格独特的线条、色彩、光影、构图、故事性各具特色而难以简单的SD1.5 模型很好地学习模仿。从欠拟合到过拟合,我始终无法得到完美的风格化特征,更何况模型同时需要最优化百种以上的艺术风格。
为此,我非常期待更加复杂的SDXL 模型能为我带来新的突破口。
模型训练期间,我并没有将精力耗费在撰写大量提示词和混合不同风格上。有人搭配一些Lora 和非常复杂的提示词得到了相当惊艳的结果,我非常感谢他们的创新和喜爱。
最后,感谢@BananaCat 对本文的汉化,我很乐意与全世界的SD 爱好者分享和交流成果。AID 模型均出于专业兴趣。如果您对更多素材处理和模型训练的工程细节感兴趣,或愿意与我分享您的训练方案,欢迎在评论区留言,我会第一时间回复。
I 介绍
AnimeIllustDiffusion (AID) 是一款预训练、非商用且多风格的动漫插画模型。它不会生成“AI脸”。它内置大量风格,您能够使用一些特殊的触发词(见附录A)来生成特定风格的图像。由于内置大量内容,AID 需要强烈的负面提示才能正常工作。一般的负面提示词(例如low quality, bad anatomy 等)效果有限,因此,若您生成的图像中出现噪点,请搭配我提供的负面文本嵌入[1] 使用,以消除噪声。对于版本特制负面文半嵌入,请参阅版本信息。VAE 首选sd-vae-ft-mse-original [5]。在Clip Skip = 1 上使用。
AID 模型拥有超过200 种稳定的动漫插画风格和100 名动漫角色。生成风格需要的特殊提示词见附录A。生成角色则直接使用角色名。AID 模型像一个调色板,您可以通过任意组合提示词创造出新的风格。
每个版本的AID 各有所长,并非越新的版本越好。
适合第一次使用:v2.8, v2.91 - Weak, v2.10beta1
有极佳创造力:v2.6, v2.7, v2.91 - Weak, v2.91 - Strong
较为稳定:v2.5, v2.6, v2.8, v2.91 - Weak
风格多样:v2.91 - Weak, v2.91 - Strong, v2.10beta1
本页面封面图为各AID 版本封面图总和。本页面仅上传AIDv2.91 Weak 版本。如果您对其他版本感兴趣,请移步:
https://civitai.com/models/16828?modelVersionId=91090
II 优点
特化二次元人物插画设计。擅长平涂、厚涂和半厚涂(伪厚涂)。艺术感的线条和色彩。构图灵活大胆,同时擅长摆拍和动态姿势。细节整齐柔和,不具有混合模型的2.5D 质感,风格自成一派,不像AI,更接近于手绘。
认识更多热门动漫角色,或许更利于搭配角色Lora。
III 不足
不擅长绘制人物以外的场景。不擅长油画和水彩画风。需要搭配特制负面emb 以消除噪点。触发词之间强度不够平衡。对自然语言的理解能力较弱,与大部分风格化Lora 和小部分角色Lora 不适配。
IV 声明
本模型用于测试多风格模型训练,非盈利或商用,皆兴趣使然。若有侵权,立即删除。
使用者仅被授权使用此模型生成图片,不允许未经同意的转载。
严禁将本模型用于一切商业用途。
请勿使用本模型生成带有血腥、暴力、色情的违规图片及任何侵权内容!因此,附录A 部分仅能够提供部分经过训练的关键词。
附录A
请访问模型原地址以获取触发词列表:
https://civitai.com/models/16828/animeillustdiffusion