我不是模型作者。我仅被授权负责搬运和汉化。
模型介绍
I 引言
在本介绍中,您将了解:
模型介绍(见II部分);
使用指南(见III部分);
训练参数(见IV部分);
触发词列表(见附录A部分)
II 模型介绍
动漫插画设计XL,或称AIDXL是一款专用于生成二次元插图的模型。它内置了200种以上(随着更新越来越多)的插画风格,依靠特定触发词(见附录A部分)触发。
优点:构图大胆,没有摆拍感,主体突出,没有过多繁杂的细节,认识很多动漫人物(依靠角色日文名拼音触发,例如,“ayanamirei”对应角色“绫波丽”,“kamadonezuko”对应角色“祢豆子”)。
模型难度较大,不推荐入门者使用。
III 使用指南(将与时俱进)
推荐使用ComfyUI生成图像……
现在,WebUI和ComfyUI在生成式无明显差别。
1 生成参数
如果您无法生成与预览图相似的图像,请参照以下指南。
建议图像总分辨率(总分辨率=高度x宽度)大于1024x1024且小于1024x1024x1.5,否则生成的图像可能质量不高。此为经验法则,即生成图像的总分辨率应高于训练集图像的总分辨率,且同时低于训练集图像总分辨率的1.5倍,以防止模糊和畸变。例如,本模型在1024x1024总分辨率上训练,因此您最大可以生成1024x1536(以2:3为例)分辨率的图像。
推荐使用tag +自然语言的形式书写正面提示词。提高自然语言中的名词密度,避免使用抽象形容词,或用多个形容词叠加地修饰名词。另外,无需使用过多负面提示词。建议负面提示词数量不超过10个。
不进行“ClipSkip”操作,即Clip Skip =1。
采用“dpmpp_2m”采样器(sampler),搭配“karras”调度器(scheduler),该组合在webui里称为DPM++ 2MKarras。在7 CFG Scale上采样35步以上。
仅需要使用模型本身,而不使用精炼器(Refiner)。
使用基底模型vae或sdxl-vae。
使用附录部分提供的触发词以活用风格化。注意,从v0.5版本开始将支持部分质量提示词,如best quality, masterpiece等。使用它们将提高图像平均的美学质量(并不总是)。
2 注意事项
使用SDXL支持的VAE模型、文本嵌入(embeddings)模型和Lora模型。注意:sd-vae-ft-mse-original不是支持SDXL的vae;EasyNegative、badhandv4等负面文本嵌入也不是支持SDXL的embeddings。
生成图像时,强烈推荐使用模型专用的负面文本嵌入(下载参见 https://civitai.com/models/144327/negative-embeddings-aidxl-series-models),因其为模型特制,故对模型几乎仅有正面效果。
由于初步训练,版本新增触发词将在当前版本效果相对较弱或不稳定。
3 实验
触发词所指向的风格能够相互融合而产生新的风格。
自v0.5版本开始,新增了质量提示词。
IV 训练参数
以SDXL1.0为底模,使用大约2w张自己标注的图像在5e-6学习率,总长为1的余弦调度器上训练了约100期得到模型A。之后在2e-7学习率,其余参数相同的条件下,训练得到模型B。将模型A与B混合后得到AIDXLv0.1模型。
V 对比基于SD1.5的AID
2023/08/08:AIDXL使用与AIDv2.10完全相同的训练集进行训练,但表现优于AIDv2.10。AIDXL更聪明,能做到很多以SD1.5为底模型无法做到的事。它还能很好地区分不同概念,学习图像细节,处理对SD1.5来说难于登天的构图,几近完美地学习旧版AID无法完全掌握的风格。总的来说,它绝对拥有比SD1.5更高的上限,我会继续更新AIDXL。
附录
A. 触发词列表
非常抱歉。基于安全原因,本页面不提供任何提示词列表。完整提示词列表请参见CivitAI模型页面的附录A部分: https://civitai.com/models/124189/anime-illust-diffusion-xl