[AIDXL] Anime Illust Diffusion XL/动漫插画设计XL

我不是模型作者。我仅被授权负责搬运和汉化。

模型介绍

I 引言

在本介绍中，您将了解：

1. 模型介绍（见II部分）；

2. 使用指南（见III部分）；

3. 训练参数（见IV部分）；

4. 触发词列表（见附录A部分）

II 模型介绍

动漫插画设计XL，或称AIDXL是一款专用于生成二次元插图的模型。它内置了200种以上（随着更新越来越多）的插画风格，依靠特定触发词（见附录A部分）触发。

优点：构图大胆，没有摆拍感，主体突出，没有过多繁杂的细节，认识很多动漫人物（依靠角色日文名拼音触发，例如，“ayanamirei”对应角色“绫波丽”，“kamadonezuko”对应角色“祢豆子”）。

模型难度较大，不推荐入门者使用。

III 使用指南（将与时俱进）

推荐使用ComfyUI生成图像……

现在，WebUI和ComfyUI在生成式无明显差别。

1 生成参数

如果您无法生成与预览图相似的图像，请参照以下指南。

1. 建议图像总分辨率（总分辨率=高度x宽度）大于1024x1024且小于1024x1024x1.5，否则生成的图像可能质量不高。此为经验法则，即生成图像的总分辨率应高于训练集图像的总分辨率，且同时低于训练集图像总分辨率的1.5倍，以防止模糊和畸变。例如，本模型在1024x1024总分辨率上训练，因此您最大可以生成1024x1536（以2:3为例）分辨率的图像。

2. 推荐使用tag +自然语言的形式书写正面提示词。提高自然语言中的名词密度，避免使用抽象形容词，或用多个形容词叠加地修饰名词。另外，无需使用过多负面提示词。建议负面提示词数量不超过10个。

3. 不进行“ClipSkip”操作，即Clip Skip =1。

4. 采用“dpmpp_2m”采样器（sampler），搭配“karras”调度器（scheduler），该组合在webui里称为DPM++ 2MKarras。在7 CFG Scale上采样35步以上。

5. 仅需要使用模型本身，而不使用精炼器（Refiner）。

6. 使用基底模型vae或sdxl-vae。

7. 使用附录部分提供的触发词以活用风格化。注意，从v0.5版本开始将支持部分质量提示词，如best quality, masterpiece等。使用它们将提高图像平均的美学质量（并不总是）。

2 注意事项

• 使用SDXL支持的VAE模型、文本嵌入（embeddings）模型和Lora模型。注意：sd-vae-ft-mse-original不是支持SDXL的vae；EasyNegative、badhandv4等负面文本嵌入也不是支持SDXL的embeddings。

• 生成图像时，强烈推荐使用模型专用的负面文本嵌入（下载参见 https://civitai.com/models/144327/negative-embeddings-aidxl-series-models），因其为模型特制，故对模型几乎仅有正面效果。

• 由于初步训练，版本新增触发词将在当前版本效果相对较弱或不稳定。

3 实验

• 触发词所指向的风格能够相互融合而产生新的风格。

• 自v0.5版本开始，新增了质量提示词。

IV 训练参数

以SDXL1.0为底模，使用大约2w张自己标注的图像在5e-6学习率，总长为1的余弦调度器上训练了约100期得到模型A。之后在2e-7学习率，其余参数相同的条件下，训练得到模型B。将模型A与B混合后得到AIDXLv0.1模型。

V 对比基于SD1.5的AID

2023/08/08：AIDXL使用与AIDv2.10完全相同的训练集进行训练，但表现优于AIDv2.10。AIDXL更聪明，能做到很多以SD1.5为底模型无法做到的事。它还能很好地区分不同概念，学习图像细节，处理对SD1.5来说难于登天的构图，几近完美地学习旧版AID无法完全掌握的风格。总的来说，它绝对拥有比SD1.5更高的上限，我会继续更新AIDXL。

附录

A. 触发词列表

非常抱歉。基于安全原因，本页面不提供任何提示词列表。完整提示词列表请参见CivitAI模型页面的附录A部分： https://civitai.com/models/124189/anime-illust-diffusion-xl