Tensor.Art

Stable Diffusion 潜工具书Ver. 4.1.20240520（此副本是4.1.20240520的快照版本）——如果你想要整个世界，那我也能画给你链接（原文链接）腾讯文档：- Stable Diffusion 潜工具书（备份链接I）整合了作者制作的几个文档，部分可能缺乏更新，如没有其他情况只看这里即可- Stable Diffusion 信息并联资源库（备份链接II）不同步文档链接（很少进行更新）：- 【中文文档】Stable Diffusion 潜工具书（2023/12/22） | Civitai如果您有不在此列表中的信息/文件、或者其他疑问，请看以下链接- Stable Diffusion 潜工具书·鹊桥计划为确保体验，请在阅读本文档时关闭TUSI网站的深色模式本文档约63000字，文档本体浏览一遍时间约30min，文档总阅读时间约145小时。警告1. Ckpts/hypernetworks/embeddings等模型有一定的可能性被混入恶意代码，所以请谨慎使用.ckpt/.pt为扩展名的模型。请及时拉黑让你开启允许加载不安全模型这个选项的人。2. 在本地部署使用过程中请时刻关注你得GPU/硬盘等硬件状态，并在必要的时候强行停止AI生成以防止您的GPU/其他设备损坏。3. Stable diffusion没有付费知识，所有所谓付费知识/教程的人均为使用开源内容打信息差，所有变现\行业案例均为学习完基础内容就可以自行操作。开源内容请不要对此进行付费。声明1.  如果本文档外链的内容中有不合适的内容，与本文档无关。如发现请及时通知文档作者删除不合适的链接。2.  转载、引用或直接复制本文档内的内容需要注明链接：文档主链接：Stable Diffusion 潜工具书3.  文档基于公开材料和经验编写，不对内容准确性负责（但作者会尽力确保内容的准确性和排除民科/错误内容），如文档有错误内容，请联系本文档作者。4.  另外因您的数据的产生、收集、处理、使用等任何相关事项存在违反法律法规等情况而造成的全部结果及责任均由您自行承担。文档使用GFDL 许可，如果您需要在您自己的著作／文章／网站或其他出版物中使用本文档的材料，您必须遵守GFDL。如果您创建了一个修改或添加了内容的派生版本，它将继承以下条款：您的作品也必须以GFDL 的形式发布您必须注明文章的作者您必须提供取得材料“透明版本”的方法文档具体协议参考FDL，以仓库副本为准。Copyright (C) 2023 StableDiffusion潜工具书Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License, Version 1.3 or any later version published by the Free Software Foundation; with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license is included in the section entitled "GNU Free Documentation License".作者Stable Diffusion 潜工具书2023/06/30作者：Yuno779（作者）QID：YYIMISE（九月Centaki）Discord：Yimis7777邮箱：AsiaAnyN@outlook.comCivitai：Yuno779 Creator Profile | CivitaiX：𝙔𝙪𝙧𝙞𝙠𝙪 (@ElysiaAnyN) / X (twitter.com)===DeepGHS===- deepghs (DeepGHS) (huggingface.co)- DeepGHS (github.com)===元素法典===- 元素法典制作委员会_哔哩哔哩_bilibili===秋叶甜品店===- 【秋葉的甜品店】（频道）：https://pd.qq.com/s/edfqp0lcy- 秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频前置内容| SD是什么？这本书又是什么？a. 前言Stable Diffusion (稳定扩散) 是一个扩散模型，2022年8月由德国CompVis协同Stability AI和Runway发表论文，并且推出相关程序自此拉开SD绘画的序幕。后来NovelAI（下称nai）在二次元文生图（T2I）领域破圈，并且在模型泄露之后进一步破圈。为了整合nai破圈后的各路信息，nai贴吧组创建了「nai信息并联计划」，但是后续由于缺乏跟新「并联计划」逐步失效。在「并联计划」失效之后，缺乏一个能够集合SD相关知识的文档供大家参考。本文档的目的正在于此，用于弥补并联计划这个空缺。- NovelAI信息并联计划原址：https://kdocs.cn/l/cre0TwbMkdx3潜工具书是一个包含有任何可能有用的链接的一个信息存储库。如果你是新人，那么非常推荐你从头查看本文档本文档仅为中文整理的合集。其中部分链接文档/内容无对应中文版，考虑到部分为专业性文档，需要有很强的英语能力/熟练使用GPT等工具才能正常阅读。固请不要以此问题询问他人，如有需要请自行寻找GPT等工具使用教程。b. 前置内容● 信息在国内，想要正经的接触AI绘画相关的内容是非常困难的，往往需要克服信息阻断链，这个文档在很多地方并不受欢迎（你说是吧，某个L开头的模型网站），因为文档挡住了很多人想要卖课赚钱的路子。当然你既然看到了这个文档，相信你你已经解决了信息阻断的问题。当然如果你感兴趣想要知道正确入坑AI绘画有多难的可以查看这个文档：想要接触到正经AI绘画到底有多难● AI本地部署硬件需求说明：最低推荐配置的意思是配置低于这个就完全不建议入坑AI绘画了，如果强行想要使用，有些也是没问题的，但是还是建议硬件水平低于最低推荐配置时更换为更为强劲的硬件。当然使用云端部署也是没问题的（纯新人建议使用windows server）显卡VRAM在4GB以下的会很容易遇到显存不足的问题，即使使用放大插件也就非常慢（以时间换显存）显卡较差/显存严重不足时可以开启CPU模式，但是速度非常慢。你不希望一个小时一张图的话那就别想着用CPU跑图。● 软件需求Linux：用Linux当主力系统的还用我教？Windows：最低要求为Windows 10 64比特，请确保系统已更新至最新版本。windows7就不要想了，建议直接升级到win10/win11macOS：最低要求为macOS Monterey (12.5)，如果可以的话请使用最新版macOS。建议使用搭载Apple Silicon M芯片(M1、M2) 的Mac机型。旧款Mac需配备AMD独立显卡，只有Intel核显的不能使用。正文内容①https://tusi.cn/articles/730154185623963570②https://tusi.cn/articles/730157424029312247③https://tusi.cn/articles/730162358946747397④https://tusi.cn/articles/730213739640645910Q & A● VAE是什么，出图发灰怎么办：VAE 是一种神经网络，可将标准的RGB 图像和潜空间表征互相转换。潜空间表征是Stable Diffusion 在采样过程中的实际操作对象。(即进度条处于"空" 和"满" 之间的状态)。 对于文生图，VAE 仅用于在采样完成后创建RGB 图像。 对于图生图，VAE 用于在采样前把用户输入的图像处理为潜空间表征，并在采样后创建RGB 图像。说人话：简单的说就是把AI输出翻译成人能看到的图片出图发灰是因为模型内的VAE存在问题，可以将模型内的VAE更换为其他适合的VAE，在SD-Webui中直接更换“外置”VAE即可● 安装报错打不开怎么办：如果你是秋叶整合包，那么可以查看此文档：【必读】萌新基础常识(wa9.cn)讨论以下插件你可能不会得到除卸载以外的任何答案：Dreambooth、a1111-sd-webui-locon/lycoris、Deforum、TemporalKit、Kohya-ss Additional Networks如果不是使用整合包，且出现问题无法自行解决，那么请看这里并使用整合包：SD WebUI秋叶整合包与SD Webui绘世启动器- 【AI绘画·11月最新】Stable Diffusion整合包v4.4发布！- 【AI绘画】绘世启动器正式发布！！● 说了一番也不推荐模型……？这里除了我自己夹带本人制作的私货模型以外不会推荐任何其他模型，在看完一些文章之后你理应能够自行分辨模型的质量，如果不能那就再去看一遍文章的内容，如果还不能分辨，这边建议先上学再上网。当然你不想看文档，那也不怪你，只是你不适合学习SD相关的东西，我建议你立刻关闭文档并卸载你的AI软件。● 有一些东西没有加入这里：部分文档含有非常多的错误内容，为了确保新人不会获得错误的消息，我将其剔除文档。另外为了防止一些潜在的风险和其他问题有些其他的文档也不会放到这里。如果有其他需要加入本文档的内容，请查看此链接：- Stable Diffusion 潜工具书·鹊桥计划NovelAI信息并联计划失效的原因之二就是民科内容多和大家无法自发的将新内容放到并联计划上，所以潜工具书将不会采用并联计划的模式来避免这种情况的发生。● 模型奇怪的大小？一般而言奇怪大小的模型都会或多或少的含有一些垃圾数据或无效精度。模型融合经常会出现很多webui在跑图过程中实际用不上的junk data，模型里只有固定的那些内容才能够被加载，多出的全是垃圾数据。很多的融合模型都带有这么一堆的垃圾数据，并且很多人总是认为这些junk data删掉会影响模型本身而不去删除。其中影响最大的是模型EMA：模型在Merge后EMA将不再准确反映UNET，这种情况下EMA不止没啥用，还会影响模型的训练。另外默认情况下，webui 会将所有加载的模型转换为FP16使用。所以很多时候更高的精度也是没啥意义的。旧版本SuperMerge插件也会整出来一些float64的weight造成大小异常。这些都会浪费磁盘空间。● 有什么新的东西？详情查看3.c推荐的几个b站UP的动态或者视频，一般而言更新都是比较快的● 为什么经常看到批评某些东西的内容首先，暴躁程序员天天因为技术上的原因喷人是很常见的一件事，有些人或者事虽然经常因为技术上的问题吵来吵去，但是私底下却并没有这么水火不容。另外就是，一部分比较差的模型或者一些其他东西，有很多人出于比如面子或者是社交上的考量，而不去批评别人的东西。别人出了个模型或者别的就一直要被追着说好，只能夸，不能批评。这不是个好现象，虚伪的称赞对谁都不好。这里不是绘圈或AI模型圈，不好的东西受到批评是应该的，而且这对于被批评的事物也是有利的。● 说半天也不推荐模型也不解决问题这个文档的大部分内容是让你知道为什么，而不是怎么做。全都看完且理解了里面的内容，你自然就会自己分辨模型、自己炼模型，那些所谓的“应用向工作流”自然而然的就可以手到拈来。● 堆友的教程相关内容：完全不建议看堆友上的任何教程，因为新人完全没有对于这些知识是否正确的分辨能力，而堆友上的教程普遍都有一些错误的内容，或者是只根据现象就总结结论的“民科理论”，这会对新人理论体系的构建产生非常差的影响。私货环节| 模型推荐● kohakuXL EKohaku XL E是Kohaku XL系列最新版本，使用LyCORIS微调，在消费级硬件上训练，并且完全开源。使用前请看模型卡，为确保效果请使用模型卡的格式。- (3) Kohaku-XL Epsilon - rev1 | 吐司tusi.cn● animagine xl 3.1Animagine XL 3.1是Animagine XL V3系列的一个更新，增强了之前的版本Animagine XL 3.0。Animagine XL 3.1建立在Stable Diffusion XL的基础上，旨在通过制作准确而详细的动画角色表示，成为动漫迷、艺术家和内容创作者的宝贵资源。- (21) Animagine XL - V3 | Tensor.Art- cagliostrolab/animagine-xl-3.1 · Hugging Face- Animagine XL V3.1 - v3.1 | Stable Diffusion Checkpoint | Civitai● AnythingXL- (1) 万象熔炉XL | AnythingXL - beta4 | 吐司TusiArt.com- 万象熔炉| Anything XL - XL | Stable Diffusion Checkpoint | Civitai拒绝民科请勿只根据现象就去“定义”某些理论a. 相关问题原因&说明民科/错误理论提出的原因常见的无非有三种。定义：只通过现象就去“定义”一些事物，并且将其当作理论来使用传播，很多种情况下这些提出的理论都只是巧合或者适用范围相当有限的东西。例如：GhostInShell的一些理论/VAE相关的内容就属于此。似乎：很多内容是我们心理上感觉其效果的，但是实际上并没有这一回事，并且完全不起作用。但是仍然有人将其作为理论拿出来使用。例如：当初法典组融合研究的一些东西就属于此。掩饰：有些过于离谱的内容纯属是为了掩盖自己啥都不懂论文没看文档没读……的，但是由于提出这些东西的人往往有很高的流量，就会影响相当多的人，甚至一部分新人小白听取了“业界大佬”的发言，就认为确实是这样的。例如：墨幽的HIFI级大模型就是属于此的另外AI绘画使用的超低门槛与实际研究群体的超高门槛之间存在着非常严重的断层，这就意味着玄学民科的内容很多人是完全没有办法分辨的，这会导致很多人有意无意的也成为一些错误理论的传播者。- 模型结构科普第一辑- 模型理论科普第二辑这个系列文档科普了一些模型结构的内容，然而还有更多的玄学民科内容还在等着我们去根除谬误，当然这个文档也有可能会有错误内容，有问题也请直接指出。b. SD社区现状SD目前并没有专门的交流社区/或者说即使有交流社区那么环境也是比较差的（例如猫鼠队），而一般的网站又过于简单零碎，各自为阵的群聊也有一部分人在输出玄学民科内容，并且还有相当的一部分人进行吹捧。而刚接触的新人也没啥分辨能力，再加上一部分国内网站不干人事的追求流量的和听信民科内容行为（曾有群友在某网站引用论文和其官方说明文档的内容指出错误的信息，但是该网站以“我的观点”与主流观点不同为由拒绝，且后续还有其他过分的行为）以及一些流量UP为了流量胡乱推荐、随意拉踩，自然然的会出现，玩了几个月发现自己玩的都是垃圾，或者自己也加入输出这种民科内容等等情况。c. 举例说明相关举例： “采样器影响提示词准确性” “LoRA训练dim无脑开128最好” “训练时长和模型质量是直接相关的” “训练集图片越大质量越好” ……以上这些都是已经证伪的民科理论，相关的东西还有很多。● 墨幽(HIFI级ai绘图模型)：- 【AI绘画】模型修剪教程：8G模型顶级精细？全是垃圾！嘲笑他人命运，尊重他人命运- 哔哩哔哩(bilibili.com)（图片MoYou为错误结论）● 模型VAE：- 【AI绘画】不是每个模型都需要外挂VAE! VAE真正的作用是什么？ - 哔哩哔哩(bilibili.com)● GhostMixGhostshell相关的理论和勘误：- GhostInShell你还想骗人多久？当然其他的东西也是有非常多的，只是没有有流量的人说明我提出了必定被喷，为了避免麻烦也是因为Happy Lazy就懒得说了，有兴趣自己去看论文或者其他作者的讲解文档。

受限于字数限制：前置内容Stable Diffusion WebUI 从入门到卸载| 吐司tusi.cn模型训练的问题部分模型训练的时候出现的问题也会导致提示词出现不听话的情况。许多tag 有着逻辑上合理的“前置”关系，比如存在sword 这个tag 的作品往往还存在weapon 这个tag、存在sleeves past finger 这个tag 的作品往往还存在sleeve past wrists 这个tag。这样在训练集中往往共存且有强关联的tag，最终会让模型处理包含它的咒语时产生一层联想关系。不过上述联想关系似乎不够令人感兴趣，毕竟这些联想的双方都是同一类型，哪怕sword 联想了weapon 也只是无伤大雅。那么是否存在不同类型的联想呢？答案是存在的：masterpiece, 1 girl, blue eyes, white hair, white dress, dynamic, full body, simple backgroundmasterpiece, 1 girl, blue eyes, white hair, white dress, (flat chest), dynamic, full body, simple background不难发现flat chest 除了影响人物的胸部大小之外还影响了人物的头身比，让人物的身高看上去如同儿童身高一般，如果调整画布为长画布还会更明显。因此称flat chest 与child 有着联想关系。人物胸部大小和身高是不同的两个类型，两个看似类型完全不同的词也可以产生联想关系。对flat chest 加大权重，会让这种联想关系会表现地更为突出。它的原理和上述同类型的联想一样，都是训练来源导致的。平胸美少女和儿童身高在同一个作品内出现的概率非常大，模型训练的时候不做好区分就会混在一起产生联想关系。这种联想关系在社区中曾被称为“零级污染”。这种现象在不同的模型中的表现是不同且普遍存在的：例如：在cf3模型中，出现了又rain的情况下一定会存在雨伞的关联现象。rain和unbrella产生了联想关系。9. 如何使用LoRA①首先，把你的LoRA模型放到指定文件夹（你的webui根目录\models\Lora）里面文件夹和我的不一样没关系，只要把模型放到这里就行了。如果下载了太多的LoRA模型不好找，那么就可以像我一样加入文件夹分类②按照图片提示，依次点击LoRA列表按钮——想要使用的LoRA，在正面提示词栏里出现<lora:colorloss-000020:1>这种格式的提示词即为下一次生成所要加载的LoRA。③如果你使用安装了Kitchen主题或者用了kitchen主题套壳的整合包，那么你的LoRA在这里10.  画大大大大大大的图Tiled VAE扩展插件： pkuliyi2015/multidiffusion-upscaler-for-automatic1111Tiled VAE能让你几乎无成本的降低显存使用● 您可能不再需要--lowvram 或--medvram。● 以highres.fix 为例，如果您之前只能进行1.5 倍的放大，则现在可以使用2.0 倍的放大。使用方法：勾选红框所示的勾选框以启动Tiled VAE在第一次使用时，脚本会为您推荐设置。因此，通常情况下，您不需要更改默认参数。只有在以下情况下才需要更改参数：当生成之前或之后看到CUDA内存不足错误时，请降低tile 大小当您使用的tile 太小且图片变得灰暗和不清晰时，请启用编码器颜色修复。stableSR扩展插件：pkuliyi2015/sd-webui-stablesr: StableSR for Stable Diffusion WebUI功能：更强大的图片放大扩展详细用法请看以下链接：sd-webui-stablesr/README_CN.md at master · pkuliyi2015/sd-webui-stablesr · GitHub11.  元素同典：真正的parameters魔法入门提示词入门教程·上篇：《元素同典:确实不完全科学的魔导书》我们保留了一点点Junk Data：请选择你的模型1.  Stable Diffusion的工作原理①首先我们输入的提示词（prompt）会首先进入TE（TextEncoder），而clip就是stable diffusion所使用的TE。TE这部分的作用就是把tag转化成U-net网络能理解的embedding形式，当然了，我们平时用的emb模型，就是一种自然语言很难表达的promot。（简单的说就是将“人话”转换成AI能够理解的语言）②将“人话”转换成AI能够理解的语言之后，U-net会对随机种子生成的噪声图进行引导，来指导去噪的方向，找出需要改变的地方并给出改变的数据。我们之前所设置的steps数值就是去噪的次数，所选择的采样器、CFG等参数也是在这个阶段起作用的。（简单的说就是U-net死盯着乱码图片，看他像什么，并给出更改的建议，使得图像更加想这个东西）③一张图片中包含的信息是非常多的，直接计算会消耗巨量的资源，所以从一开始上面的这些计算都是在一个比较小的潜空间进行的。而在潜空间的数据并不是人能够正常看到的图片。这个时候就需要VAE用来将潜空间“翻译”成人能够正常看到的图片的（简单的说就是把AI输出翻译成人能看到的图片）经过以上三个步骤，就实现了“提示词→图片”的转化，也就是AI画出了我们想要的图片。这三个步骤也就对应了模型的三个组成部分：clip、unet、VAE2. 好模型在哪里？同时满足：提示词准确、少乱加细节、生成图好看、模型本身没有问题的模型，我们就能称之为好模型。提示词准确：顾名思义，就是tag提示词的辨别能力越高越好。提示词辨别能力差，那么我们就难以达到想要的效果。少乱加细节：指的是产生提示词中并不包含的细节，并且我无法通过提示词来消除这些不相干的细节，这会影响提示词对于生成图的控制能力。生成图好看：这没什么好说的，生成图无论如何都是炸的话，那这个模型也就没有存在的必要了。模型本身没有问题：一般而言是指不含有Junk data和VAE没有问题的模型3. 讨厌的junk datajunk data就是指垃圾数据，这些数据除了占用宝贵的硬盘空间外毫无作用。一个模型里只有固定的那些内容才能够被加载，多出的全是垃圾数据。一般而言一个7Gb的SD1.5模型，实际生成图片所用到的只有3.98Gb。模型并不是越大越好这些东西大部分都是EMA，模型在Merge后EMA将不再准确反映UNET，这种情况下EMA不止没啥用，还会影响模型的训练。所以在尝试融合模型时期，请先使用工具删除模型EMA权重（后面讲模型融合的时候会提到）4. 你的AI浓度超标了！曾经时间大家的模型同质化都是比较严重的，按照出图效果分类可以将这一部分融合模型模型分为：橘子、蜡笔、Anything、cf等多种系列，每一种系列中的不同模型实际上都效果相差不大，完全没有必要去下载全部的模型。不了解AI的人所说的“AI浓度超标”“AI味”，其实指的是橘子（AOM）这一系列模型的风格，具体效果是人物身体的表面有一种油光，多了解之后你就会发现，类似这种一整个系列都会有相似的风格。5. 你的VAE？不，是你的VAE！VAE重复问题在SD1.5是比较严重的，例如Anything V4.5 VAE，实际上和novelai的VAE是完全相同的，有不少模型自带的VAE是使用了其他的VAE并且只是更改了文件名称而已，实际上这些VAE的哈希值都是完全相同的。相同的VAE无需重复下载，这些完全重复的VAE除了占用宝贵的硬盘空间外毫无作用。下面是笔者这里所有的VAE的哈希对照：（当然并不是全部，肯定还有其他的）掌控全局：ControlNet控制网ControlNet是stable diffusion的一个插件，它可以通过添加条件图片的形式来自定义很多内容达到自己想要的效果扩展插件： Mikubill/sd-webui-controlnetControlNet的保存库： lllyasviel/ControlNet1.  ControlNet基本功能想要使用控制网，首先需要点击启用（Enable）不然再怎么调整都是没有任何效果的（不启用怎么可能有效果）图片位置：你可以选择需要使用的图片导入至此，用以制作模板预处理：指你想要如何处理上传的模板图片。对应的控制网模型需要与之相对应的模板。CN模型：选择你要使用的模型，例如人物姿态控制就需要使用openpose，想要切换图片的白天黑夜状态就需要使用shuffle，不同的模型对应不同的功能选择优先考虑对象：给提示词更好的表现还是给控制网更好的表现选择缩放模型：你可以类比为windows系统的壁纸，可以调整生成图和模板分辨率不同的时候如何处理。Control Type：图上没标注，为不同模型的预设设置，很方便。另外还有这三个选项也是很常用的：从左到右的顺序是控制网权重、控制网介入时机、控制网引导退出时机。实际效果顾名思义即可。2.  推荐教程我这里不可能讲解的面面俱到，而且很多内容仅停留在会用上，你可以查看一些up的视频来学习大江户战士的个人空间_哔哩哔哩_bilibiliControlNet1.1场景氛围转换_哔哩哔哩_bilibili我们可以炼丹了，你不觉得这很酷吗？（lora）1. 没有脚本，炼个P这里推荐使用秋叶的LoRA模型训练包https://www.bilibili.com/video/BV1AL411q7Ub/也可以使用Kohya的训练脚本kohya-ss/sd-scripts (github.com)或者是HCP-diffusion（相信会用这个的大概不会来看这个入门级文章的吧）7eu7d7/HCP-Diffusion: A universal Stable-Diffusion toolbox (github.com)不推荐使用任何预设参数的一键炼丹炉2. 开始训练的准备工作①首先你需要一个6GB以上显存的NVIDIA显卡，如果没有，可以尝试云端炼丹②你需要一个祖宗级基础模型sd1.5 2.0、novelai，不推荐使用任何融合模型。③如果使用非秋叶包，那么你还需要在webui上使用tagger插件④准备训练集：训练集打标可以使用秋叶整合包中的tagger模块，也可以使用webui中的tagger插件。但是需要注意：任何AI打标都不可能100%准确，有条件尽可能人工筛查一遍，剔除错误标注一般而言需要准备一个训练集文件夹，然后文件夹中套概念文件夹命名格式为：x_概念tagx为文件夹中图片的重复次数（repeat）【这个参数不在训练UI里调节，而是直接在文件夹名称上调节】训练集是LoRA训练的重中之重，训练集直接决定了LoRA模型的性能3. 你所热爱的，就是你的参数①学习率设置UNet和TE的学习率通常是不同的，因为学习难度不同，通常UNet的学习率会比TE高。我们希望UNet和TE都处于一个恰好的位置，但是这个值我们不知道。如果你的模型看起来过度拟合，它可能训练Unet过头了，你可以降低学习率或更少的步数来解决这个问题。如果你的模型生成噪点图/混乱难以理解的图片，那至少需要在学习率的小数点后面加个0再进行测试。如果模型不能复刻细节，生成图一点都不像，那么就是学习率太低了，尝试增加学习率降低TE学习率似乎对分离对象有好处。如果你在生成图片过程中发现了多余的物品，那么就需要降低TE学习率如果您很难在不对提示进行大量权重的情况下使内容出现，那么你就需要提高TE学习率。更好的方法是先使用默认参数训练测试，然后再根据测试的结果来调整对应的参数。（秋叶训练包里的默认参数都是自带的）②优化器AdamW8bit：默认优化器，一般而言不了解/不知道测试结果的直接使用这个优化器即可AdamW：占用显存更高，但是比8bit效果更好一点DAdaptation：自适应调整学习率，显存占用极高。有不少人使用这个优化器来摸最开始使用的学习率SGDNesterov8bit：极慢，不推荐使用SGDNesterov：极慢，不推荐使用AdaFactor：（笔者没用过）似乎效果比DAdaptation好很多Lion：占用显存较高，效果极好，但是比较难以控制，需要bs或者等效bs大于64才能达到极佳的效果。Lion8bit：占用显存可能更低③调度器设置linear：不断下降，直到最后为零。cosine：学习率呈余弦波形上下波动。cosine_with_restarts：（没用过带其他人补充）polynomial：类似linear，但曲线更漂亮constant：学习率不会改变。constant_with_warmup：类似于constant，但从零开始，并在warmup_steps期间线性增加，直到达到给定值。④噪声设置noise_offset:在训练中添加噪声偏移来改良生成非常暗或者非常亮的图像，如果启用推荐为0.1金字塔噪声：增加模型生成图亮度对比和层次感，效果极佳建议开启4. 过拟合和污染①触发词和过拟合，并没有十分严格的界定，除非一些lora是过拟到非常糟糕，直接吐原图那种。毕竟训练人物特征本身就需要一定的“过拟合”②训练中常见污染，主要是因为打标器认不出或者遗漏（训练集质量），还有大模型的部分问题导致更容易被诱发的特征，包括：1. 混入其中的奇怪动物。2. 喜欢侧视和背视。3. 双马尾/兽耳。4. 胳膊喜欢披点东西（比如外套）。出现此类情况可以先先检查训练集和标注，然后再更换模型测试另外：角色的不对称特征请处理使其尽量在同一侧，且不要开启训练时镜像处理。5. 删标法之争，没有绝对的对与错在角色训练方面，一直有两种不同的观点删除所有特征标：多用于多合一，优点是调用方便，一两个tag就能得到想要的角色特征，但缺点是1. 一些特征可能受底模影响发生偏移。2. 要换衣服和nsfw比较困难。3. 容易出现不同概念的相互污染。4. 提示词会不准确删除部分特征标：仅删除多个决定角色特征的tag标注全标：优点是提示词准确，但是部分角色效果可能不好出现（还原性较差）是否删标取决于自己想要什么：假设说我的训练图是一个红色的苹果，如果我们标注这个苹果是红色的，那么你可以在生成图片的时候生成出绿色的苹果。如果我们只标注苹果，那么这个红色的就作为苹果的固有属性，只要出现苹果，那么就是红色的。6. LoRA进阶训练方法分层训练：https://www.bilibili.com/video/BV1th411F7CR/完美炼丹术，差异炼丹法：https://www.bilibili.com/video/BV11m4y147WQ/LoRA BW插件：https://github.com/hako-mikan/sd-webui-lora-block-weight模型Merge，并不科学但确实有效1. 你权重乱了融合模型前请先去除模型中的EMA权重：模型在Merge后EMA将不再准确反映UNET，这种情况下EMA不止没啥用还会占用宝贵的硬盘空间2. 传统模型merge① 选择模型A、B、C②设置新模型名字一般来说可以设置为xxxMix（xxx为你想要的名称，Mix代表融合模型）在这里设置模型的名字。③设置Merge比例传统融合有两种方式，分别为：加权和Weighted sum：将两个模型权重的加权和作为新模型的权重，仅需要填入模型A和B，公式：A*(1-M) + B*M，倍率(M)为模型B所占比例加上差值Add difference：将模型B与C的差值添加到模型A，需要同时填入模型A、B和C，公式：A + (B-C)*M，倍率(M)为添加的差值比例④选择fp16请直接选择fp16，默认情况下，webui 会将所有加载的模型转换为FP16使用。所以很多时候更高的精度是没啥意义的，不使用--no-half这些模型将完全相同。而实际上哪怕使用--no-half，模型的差别也并不会很大，所以直接选择fp16测试效果即可。⑤Merge点击它后等待一会即可，模型在你的webui根目录下的models/Stable-diffusion文件夹。需要注意的是：传统融合效果并非比现在的mbw等操作效果差3.  Merge Block Weighted扩展插件： bbc-mc/sdweb-merge-block-weighted-gui插件基本功能：开始合并：点击后直接开始融合清空数值：将下方的滑条全部置为0.5刷新模型列表：刷新模型列表。在webui开启状态下，如果模型文件夹新加入了模型，那么将会无法自动识别。如果原模型区域找不到新加入的模型，那么点击这里即可刷新模型列表模型A：选择需要融合的模型A模型B：选择需要融合的模型B输出模型文件名：你要输出的模型文件名称，通常为xxxMix预设权重：官方预设融合权重，选择后直接加载进下面的滑块权重框：输入自定义的融合权重，输入完成后点击下面的按钮直接加载进滑块文本编码器比例：A和B模型的语义分析模块的融合比跳过或重置CLIP position_ids键值：防止clip偏移导致模型出现各种提示词识别问题，强烈建议选择：强制重置Force ResetMBE能达到的效果：画风更换、人体修复、剔除污染层等更详细的MBW详解：Merge Block Weight 魔法密录1.0正式版4.  LoRA的注入与提取扩展插件：hako-mikan/sd-webui-supermerger插件基本功能除了MBW以外还有LoRA处理的相关功能：当然更多进阶的功能可以到插件仓库去查阅README.md，这里不做更详细的讲解。通过两个ckp大模型之间做差可以得到一个LoRA。需要注意的是这里需要在filename(option)这一栏输入想要的名称，不然无法提取点击下面的LoRA然后在上面选择模型，就可以把LoRA注入到ckp大模型里（同样需要在filename(option)这一栏输入想要的名称，不然无法注入）。需要注意的是，这里只能注入LoRA，并不能操作Loha等一系列其他模型，如有报错请检查模型格式是否正确。注意：部分模型做差提取LoRA后使用和原ckp模型效果差距很大，部分LoRA注入后和直接使用效果差距也会很大，具体是否可用请根据不同的模型自行测试5. 灾难性遗忘与模型融合限制很多模型灾难性遗忘（本来模型会的被炼到不会了）现象较为严重（排除掉lora的一些特定需求 其余的微调大部分层次的训练都可能有这个现象），而模型融合会放大这个现象。（比如模型只能出1girl）更多的功能，更多的插件，无限的可能注意：安装扩充功能可能会导致Stable Diffusion WebUI启动变慢,甚至无法启动，并且哪怕使用启动器也无法扫描出异常。请不要自行下载DreamBooth的WebUI插件!!!请不要自行下载TensorRT 的WebUI插件!!!请不要自行下载TemporalKit 的WebUI插件!!!请不要自行下载Deforum 的WebUI插件!!!自行下载这些插件并且炸了的唯一最佳解决方法：完全删除并重装WEBUI1. 用Webui图形界面安装①最简单的方法就是点击Extensions → Available的Load from:，就会列出可下载安装的扩充功能，点击安装②部分不在列表的插件，需要将Github库链接直接填入WebUI插件下载区，等待自动加载完毕即可③安装完成后必须点击这里重启UI网页界面（小退）才能使用，有的插件则是需要“大退”，即关闭Webui实例，重新启动。④更新扩展插件推荐使用启动器，而非Webui内的检查更新。webui内的检查更新大概率会卡住。2. 使用git安装①（安装前需要关闭你的webui实例）在你的webui根目录/extensions文件夹打开终端，运行git clone指令，安装扩充功能。例如：git clone https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git②打开WebUI，你就会看到新安装的扩展功能③windows系统插件更新同样可以使用启动器进行更新3. 使用压缩包安装①github界面点击【Download ZIP】注意：请在尝试了其他安装方式并且均失败的情况下再选择直接下载zip解压②完整解压后放在扩展文件夹：你的WebUI所在文件夹/extensions（需要关闭你的webui实例）③重新开启webui后能在插件列表中看到即为安装成功4. 停用、卸载、删除插件①对于暂时不使用插件，点击扩展前面的✔并且重启用户界面即可②删除、卸载插件最简单的方法是在启动器界面点卸载（卸载插件前请关闭你的Webui实例）请远离玄学民科1.  说明AI绘画使用的超低门槛与实际研究群体的超高门槛之间存在着非常严重的断层。这就意味着玄学民科的内容会非常的多。模型理论科普V2.0.0627这个文档反驳了非常多的玄学民科内容，然而还有更多的玄学民科内容还在等着我们去科普2.  现状SD目前并没有专门的交流社区/或者说即使有交流社区那么环境也是比较差的（例如猫鼠队），而一般的网站又过于简单零碎各自为阵的群聊也有一部分人在输出玄学民科内容，并且还有相当的一部分人进行吹捧。而刚接触的新人也没啥分辨能力，自然而然的会出现，玩了几个月发现自己玩的都是垃圾，或者自己也加入输出这种内容等等情况。彻底卸载Stable Diffusion Webui1.  删除环境/软件python、git等软件都可以在windows系统内设置界面直接卸载，直接打开设置-应用-安装的应用搜索卸载即可2. 删除Webui本体直接删除Webui目录文件夹即可。注意这里有一个魔鬼细节：请不要在windows资源管理器内直接右键删除文件夹，如果这样直接删除，那么大概率需要几个小时的时间来检索文件目录。长期使用的stable diffusion Webui本体很可能有几十万个文件，检索相当耗时。推荐三种方法：①打开终端使用命令行删除②使用FastCopy直接删除所有（注意不要点左下角的擦除&删除）③如果你听了我的建议整个Webui相关的东西都放在了同一个盘符中，那么推荐使用快速格式化，这样删除是最快最方便的。3. 删除缓存文件①Webui缓存C:\Users\你的用户名\.cache这其中这4个文件夹是Stable Diffusion Webui所创建的缓存文件，只需要删除这四个文件夹就可以了，多出来的文件夹是你安装的许多其他的东西。②pip下载缓存C:\Users\用户名\AppData\Local\pip\cache如果找不到AppData文件夹那么请修改文件夹选项：隐藏文件和文件夹-显示隐藏的文件、文件夹和驱动器。cache文件夹可以直接全部删除不会影响其他的东西Stable diffusion相关词汇表● artificial intelligence generated content (AIGC): 生成式人工智能● ancestral sampling: 祖先采样，又称向前采样● annotation: 标示● batch count: 批量数量● batch size: 批量大小● checkpoint: 存盘点，模型格式，附文件名为.ckpt。● classifier-free guidance scale (CFG scale): 事前训练的条件控制生成方法。● CodeFormer: 2022年由Shangchen Zhou等人发表的脸部修复模型。● conditioning：制约训练● ControlNet: 2022年由Lvmin Zhang发表，通过加入额外条件来控制扩散模型的神经网络结构。● cross-attention: 分散注意● dataset: 数据集● denoising: 去噪，降噪● diffusion: 扩散● Denoising Diffusion Implicit Models (DDIM): 去噪扩散隐式模型，2022年由Jiaming Song等人发表的采样方法。● Dreambooth: Google Research和波士顿大学于2022年发表的深度学习模型，用于调整现有的文生图模型。● embedding: 嵌入● epoch: 时期● Euler Ancestral (Euler a): 基于k-diffusion的采样方法，使用祖父采样与欧拉方法步数。可在20~30步数生出好结果。● Euler: 基于k-diffusion的采样方法，使用欧拉方法步数。可在20~30步数生出好结果。● fine-tune: 微调● float16 (fp16): 半精度浮点数● float32 (fp32): 单精度浮点数● generate：生成图片● Generative Adversarial Network (GAN)：生成对抗网络，让两个神经网络相互博弈的方式进行学习的训练方法。● GFPGAN: 腾讯于2021年发表的脸部修复模型。● hypernetwork: 超网络● image to image: 图生图● inference: 模型推理● inpaint: 内补绘制● interrogator: 图像理解● k-diffusion: Karras等人于2022年发表的PyTorch扩散模型，基于论文〈Elucidating the Design Space of Diffusion-Based Generative Models〉所实作。● latent diffusion: 潜在扩散● latent space: 潜在空间● learning rate: 学习率● Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion (LyCORIS)● low-rank adaptation (LoRA): 低秩自适应，2023年由Microsoft发表，用于微调大模型的技术。● machine learning: 机器学习● model：模型● negative prompts: 负向提示词● outpaint: 外补绘制● pickle: 保存张量的模型格式，附文件名为.pt● postprocessing: 后处理● precision: 精度● preprocessing: 预处理● prompts: 提示词● PyTorch: 一款开源机器学习库● safetensors: 由Huggingface研发，安全保存张量的模型格式。● sampling method: 采样方法● sampling steps: 采样步数● scheduler: 调度器● seed: 种子码● Stable Diffusion: 稳定扩散，一个文生图模型，2022年由CompVis发表，由U-Net、VAE、Text Encoder三者组成。● text encoder: 文本编码● text to image: 文本生成图片，文生图● textual inversion: 文本倒置● tiling: 平铺● token: 词元● tokenizer: 标记解析器● Transformers: HuggingFace研发的一系列API，用于辅助PyTorch、TensorFlow、JAX机器学习，可下载最新预训练的模型。● U-Net：用于影像分割的卷积神经网络● unified predictor-corrector (UniPC): 统一预测校正，2023年发表的新采样方法。● upscale: 升频，放大● variational auto encoder (VAE): 变分自动编码器● weights: 权重● xFormers: 2022年由Meta发表，用于加速Transformers，并减少VRAM占用的技术。

"黏土风格"是一种艺术表现形式，它通过对黏土的塑造和处理，创造出具有特定外观和感觉的作品。这种风格在近年来的短视频创作、图像编辑、手工艺品制作等领域中尤为流行。毒法师对黏土这种风格和纹理也是抵抗不住，熟悉毒法师的小伙伴都知道，我在流光器韵这个系列的LORA模型主打一个材质和纹理，所以最近也练了不同观感的几个黏土LORA，这里集中为大家介绍下使用方法和效果。一、风格介绍在手工艺品制作中，"黏土风格"通常指的是使用黏土材料制作的各种作品。这种风格的手工艺品具有较强的可塑性和创造性，可以让人们根据自己的想象和需求，打造出独一无二的作品。基于黏土这种特殊的材质，毒法师也是炼制了不同造型不同效果的几个LORA模型，目前有如下几个：1.黏土神兽2.黏土小人鱼3.黏土风格打工人4.黏土僵尸小女孩/小男孩5.黏土惊悚僵尸6.黏土调皮北鼻这几个LORA模型总体上都是粘土风格，但是在黏土的细腻程度、色彩以及纹理方面有较大差异，有的粗糙、有的细腻，有的色彩丰富、有的色彩单一，当然，造型也是大不一样，可用于游戏角色、海报画面，甚至是文创IP，只为满足大家不同的使用场景和期望的效果。二、使用说明目前这些LORA有的已经发布，有的还没有发布，毒法师这里以前两个为例介绍下画面效果和使用方法。1.模型获取：怎么获取这些LORA模型呢？请移步毒法师主页，https://tusi.cn/u/662557069739585057/models可以在主页看到这些黏土风格的LORA模型，使用可以在线跑图，也可以下载后在本地使用，个人经验，在线和本地跑图效果会有细微差别，不过主体风格是保持一致的。2.使用操作：底模的选择，使用写实类底模一般都能够出效果，不过不同的底模画面效果肯定会有差异，推荐使用GhostMix鬼混、麦橘系列以及天海Tenkai的模型，这几款毒法师在线跑图效果都很美丽。如黏土小人鱼这个，不仅可以出IP效果，使用写实真人模型，可以出真人效果。提示词的书写：这个没什么可说的，毒法师所有的LORA模型主打一个懒人使用、新手无门槛、单词恐惧患者友好，所以你只需要输入基本提示词即可，如1girl、1boy，dragon等等，简化到基本可以不写，当然，权重开大的话，你真的可以不写。另外，每个模型毒法师都会在线跑一些图，也会在每个模型的说明中有不同的关键词，调用更多效果，具体可以在模型的说明中查看。如黏土小人鱼这个，你可以加object on head，粘黏土神兽可以加teeth等。权重的选择，这几款的权重在0.65-0.85效果最好，但要注意，不同底模你的权重可能需要灵活调整，当然，权重的高低根据你想要的效果调整，如果连权重高LORA模型效果明显这种基本都不知道的话，可以退出了。其他参数的选择不用纠结，在线基本默认即可，如果要调建议采样用DPM++ 2M SDE Karras、restart、Euler a等。看起来复杂，用起来基本都是无脑直接出效果，信我，用过你会欲罢不能。

模型：【立绘法】VUPportrait/l2d立绘- A33 |吐司tusi.cn站内小工具（只能达到25%的效果）：虚拟主播人设设计|吐司tusi.cn推荐模型&展示图片【均为本人粗制滥造随机出图，部分细节问题可通过图生图修改（例如：手、头发的错误）】旧的AnythingV3（FT）模型：（已删，想要此效果可以尝试AnythingV5）新的VUPportrait/l2d专用模型：（推荐，更便于拆分和后续制作）【立绘法】VUPportrait/l2d立绘- A33 |吐司tusi.cn目前只推荐使用A3.33/VUPportrait专用模型其余社区模型均不建议用于AI立绘制作。如果使用其他或者旧模型，会出现各种问题（例如经典的“怀旧服”“AI画风”，或者其他不可控因素）制作方法● 提示词：非lora立绘法起手式:（注意这里请不要使用立绘lora）official art,1girl, simple background,[(white background:1.5)::0.2],open-mouth,(whitebackground:1.2)＋具体人设tag想加的可以加一个加个（实际上加不加都行）<lora:charturnbetalora:0.2>这个lora，在秋叶视频有这个lora的分享● contronet设置其次是对应的contronet设置，具体参数如下图所示，预处理选无，模型使用openpose，模板图在最下面，分三种体型在吐司工作台就选择点击controlNet选择openpose直接上传控制图就好了● 其他设置采样方式随意，目前测试Euler和DMP一系列还有UniPC都是没啥问题的必须开启高清修复，放大倍率推荐为2，重绘倍率开0.6以上输出图尺寸推荐为320*640放大后为640*1280【也可以跟图中一样，放大倍率4，输出尺寸160*320。放大后统一为640*1280】附带图片体型分别为：萝莉/少女（少年）/成女（成男）AI面补这里附带AI面补的相关内容，效果并不是很好，有条件请自行制作模型yuyuyzl/EasyVtuber: tha3, but run 40fps on 3080 with virtural webcam support (github.com)

展示图：如何直接使用：方法一：直接使用此链接：https://tusi.cn/template/run/727198960355304059?source_id=601113246111368709点击生成后，直接上传图片再点在线生成即可方法二：①在吐司（tusi.cn）搜索：膨胀图标LOGO或者直接打开以下链接：https://tusi.cn/template/727198960355304059②在右侧点击上传你需要处理的图片，点击在线生成即可原理：工作流是很常见的ControlNet工作流：利用ControlNet使用输入的LOGO图作为控制图，再通过专用模型来实现效果。如何搭建类似工具：搭建类似的工作流可以查看以下教程文档：如何DIY模板小工具