吐司食用指南🍞——基本功能介绍篇·高级控制(ControlNet)


更新

高级控制(ControlNet)

ControlNet(下面简称cn)是真正将AI绘画变得“真正”可控的第一步,让StableDiffusion有了成为生产力工具的资格。

ControlNet作为对大模型进行微调的神经网络,它的作用原理是根据一些额外的信息(通常来自于你上传的图片)来对StableDiffusion的创作过程进行引导,从而实现对生成图片的精准控制。

ControlNet能够实现精准控制的用法,你可以根据你的需求选择适合的ControlNet模型与预处理器来从你上传的图片中提取相应的条件信息。例如openpose就是只会提取你上传的图片中人物的姿势,脸部和手部特征点,过滤掉其他的信息

而且你还可以同时使用多个ControlNet实现更进阶的操作,例如可以将inpaint模型,canny模型,openpose模型三个模型混合使用,再加上具体的蒙版,可以实现模特换衣,换头等操作。还有互相加成的效果,例如openpose加上较低权重的tile模型可以更好的控制人物结构。

详解:

  1. Openpose 姿势控制:从真人图片中提取人物姿势,脸部和手部特征点,应用到生成的图片中。

  2. QR code 二维码:用于制作ai二维码,也可以用于“幻术图”等的制作

  3. Brightness 光影控制:通过识别图像中的明暗关系,可用于生成光影字与人物光影图

  4. Canny 边缘检测:检测图像中的边缘细节,达到还原图像中的细节的目的,还可以控制绘制区域。

  5. Depth 深度图生成:检测物品的景深效果,包括前后位置,物体大小,光影等。能较好的还原远近与前后关系

  6. Lineart Anime 动漫线稿上色:提取图像的线稿特征,并在出图中加入动漫风格

  7. Linart 线稿上色:提取图像的线稿特征,还原图像细节(相比于canny自由度更高)

  8. mlsd 线段识别:识别图像中的直线(通常用于建筑与物体图)

  9. normalbae模型识别:用于生成法线图

  10. Scribble涂鸦上色:对上传的图片进行涂鸦上色,补充细节

  11. Softedge:识别图像中的轮廓

  12. seg语义分割:从像素的角度分割出图片中的不同对象

  13. Shuffle内容重组:内容重组,风格转移

  14. ip2p:可以理解为自然语言ps,例如你上传的图像中有一只猫,你可以通过提示词使用自然语言把猫变狗

  15. Color色彩格子:提取原始图片带有空间结构的的颜色特征,那个地方那个颜色

  16. Tile超清重绘:通过超分辨率,可以使图像增加大量的细节

2
0