9. 工作流程 | 帮助你干活的
LightFlow是一个基于SD的开源插件,它可以帮助你一键保存所有工作流数据(包括垫图和其他第三方插件设置),下次使用只需拖入.flow文件,就能快速复现整个工作流,就像使用Photoshop的PSD文件那样方便。
- LightFlow公测文档 - 飞书云文档 (feishu.cn)
- git仓库:Tencent/LightDiffusionFlow
- 开源交流社区:lightflow.ai
a. DragDiffusion控制器
- DragDiffusion论文:[2306.14435] DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing
- Drag git仓库Yujun-Shi/DragDiffusion: Official code for DragDiffusion
可以根据自己需要控制图片中的内容的一个工具,具体效果可以查看下面的链接
本地安装部署教程
DragNUWA生成可控动画(Comfy)
- 节点地址:chaojie/ComfyUI-DragNUWA --- chaojie/ComfyUI-DragNUWA (github.com)
- 介绍视频:【保姆级教程】手摸手教会你生成可控动画,基于DragNUWA实现_哔哩哔哩_bilibili
- 轨迹定义用网站:TRAJ MOTION DESIGNER (chaojie.github.io)
b. ControlNet控制网相关应用
ControlNet相关的工作流或者是应用太多了,随便搜索都有几百个例子,不可能全部都放到文档内,这里生成二维码仅作举例说明。
AI 生成可识别风格二维码:
相关模型:
- Controlnet QR Pattern (QR Codes) - v1.0
相关git仓库:
- qrcode-toolkit: Anthony's QR Code Toolkit for AI generated QR Codes
与之相关教程与链接合集,以及如何制作有效的风格二维码:
- Stylistic QR Code with Stable Diffusion (antfu.me)
- Refining AI Generated QR Code (antfu.me)
原始链接,最开始提出概念的文章:
- AI 生成可扫码图像 — 新 ControlNet 模型展示 (qq.com)
c. StableSR 超分
- git仓库IceClear/StableSR
- 论文:[2305.07015] Exploiting Diffusion Prior for Real-World Image Super-Resolution (arxiv.org)
- StableSR的Webui插件:pkuliyi2015/sd-webui-stablesr
- 网站: StableSR | MMLab@NTU (iceclear.github.io)
- 对比:四种图像放大策略的简单比较
d. Segment Anything分割万物
这个东西应用范围非常广泛,从AI训练数据集的处理到l2d的拆分等,下面仅为几个例子:
- 论文:[2304.02643] Segment Anything (arxiv.org)
- 论文解读①:【论文精读】Segment Anything论文精读(上)_哔哩哔哩_bilibili
- 论文解读②:https://www.bilibili.com/video/BV1uL411e73k/
- git仓库:facebookresearch/segment-anything
- 网站:Segment Anything | Meta AI (segment-anything.com)
- Segment Anything for WebUi:sd-webui-segment-anything
基于segment-anything遥感影像识别分割,矢量化:
- 首个基于segment-anything一键自动提取建筑物轮廓,AI智能遥感影像识别
- 见证颠覆!令人惊叹的SAM遥感影像分割直角化,轮廓规则化
segment-anything自动分割同图层内容。便于修改已画好但是没有区分图层的内容,或用于换装等其他用途。
- AI绘图小寄巧之通过SAManything实现换丝袜自由_哔哩哔哩_bilibili
另外Segment Anything还可用于L2d立绘图的拆分等众多用途,具体还有什么别的作用,自行测试应用即可。
e. CartoonGAN照片转二次元
- git仓库FlyingGoblin/CartoonGAN (github.com)
- 论文:CartoonGan-CVPR2018.pdf (tsinghua.edu.cn)
- 几个模型:akiyamasho/AnimeBackgroundGAN-Shinkai · Hugging Face
f. LayerDiffusion
LayerDiffusion是ControlNet的作者等人共同提出的一种利用大规模预训练的潜在扩散模型(如Stable Diffusion)生成透明图像的技术,可以帮助用户生成单个透明图像或多个透明图层。
- 论文:[2402.17113] Transparent Image Layer Diffusion using Latent Transparency (arxiv.org)
- 说明文档:LayerDiffusion - AI生成具有透明度的图像的框架 | AI工具集 (ai-bot.cn)
- 插件(forge):layerdiffusion/sd-forge-layerdiffusion: [WIP] Layer Diffusion for WebUI (via Forge) (github.com)
10. 网站文章 | 让我看看还有没有其他好东西?
有需要再进行补充
a. AIGC合集文档
文档旨在囊括以生图为基点的生成式 AI 的全链路实践,从模型设计、数据获取到训练、微调、推理和其他
- AIGC All in One (latentcat.com)
通往AGI之路(非常全面,但部分内容不严谨,存在不少错误内容、过时内容和营销号内容)
- 通往 AGI 之路 - 飞书云文档 (feishu.cn)
- 🌈通往AGI之路
b. 其他链接
AIGC相关内容速查,涉及内容全面(截止到2023/9,无后续更新)
- Ai generative art tools (pharmapsychotic.com)
"NAI Anine" Pure Negative Prompt (and more)
- 6DammK9/nai-anime-pure-negative-prompt
SD RESOURCE GOLDMINE
- SD RESOURCE GOLDMINE (rentry.org)
Just yet another Stable Diffusion links hub (WIP)
- Just yet another Stable Diffusion links hub (WIP) (rentry.org)
SD Hypertextbook
- SD Hypertextbook (rentry.org)
More /sdg/ links
- More /sdg/ links (rentry.org)
Random stuff/info from random places
- Random stuff/info from random places (rentry.org)
c. 其他工具/文章/补充链接合集
- NovelAi.DEV:NovelAI.Dev
- SD法术解析Stable Diffusion 法术解析 (novelai.dev)
- 画图机器人(Koish.js):NovelAI Bot
- 画图机器人(Nonebot):Nonebot-plugin-novelai | nonebot-plugin-novelai
- 动漫图片去背景:Anime Remove Background
- 搭建AI绘图bot教程:绘画Bot:从入坑到上香
- 一篇好笑的文章:何故日本のAI技術は中国人に完全敗北したのか?
- 给外行人看的AI绘画版权观察:被AI夺走工作的人,决定反抗AI|深氪lite
- 好用的图片处理工具clipdrop.co/tools
- 转矢量图Convert PNG, JPG files to SVG vectors online - Vectorizer.AI
- 超分:Bigjpg - AI人工智能图片无损放大 - 使用人工智能深度卷积神经网络(CNN)无损放大图片
- 图片去除背景①:在线抠图软件_图片去除背景 | remove.bg – remove.bg
- 图片去除背景②:Remove Background From Photos | Free Image Background Remover | RemovePhotos
LLM+Diffusion实现可控图像翻译
- 解读:LLM+Diffusion实现可控图像翻译!Meta AI提出DVP新框架! (qq.com)
- 论文:[2401.09742] Image Translation as Diffusion Visual Programmers (arxiv.org)
● 快速分别AI图
能够通过多种方法快速分辨AI生成图,并且有较高的识别率
● 神经网络可视化
nn_vis:
- 介绍文档:神经网络可视化有3D版本了,美到沦陷!(已开源) (qq.com)
- 开发过程:Stefan Sietzen || Visuality (vimeo.com)
- git仓库:julrog/nn_vis(github.com)
a Neural Network playground: 这个用来解释训练参数应该怎么调还挺直观的
- A Neural Network Playground (tensorflow.org)
● AI修图工具
- 相关链接:Hua - AI painting with Stable Diffusion - www.PaintHua.com
- 介绍视频:【AI绘画】我做的修 AI 图工具,可以修手脚,可以拓展画面,可以白嫖 colab 算力
d. AI对抗相关
要抵制AI绘画,应该以AI挤占画师生存空间、模仿画师画风的名义去抵制,而不是传播“尸块”等这种谣言去攻击合法使用者,这是对他人名誉权的侵犯。
- 使用AI需要正规化,抵制AI同样需要正规化 - 哔哩哔哩 (bilibili.com)
● 「AAP」整合包
AdversarialAttackPlayground (油漆厂)整合包,一键启动,拥有 Mist-v2、Glaze 等 AI “毒丸”,保护图像免受 AI 训练。和一键去除 Mist-v2、Glaze 的干扰的工具。
- 秋葉aaaki的动态-哔哩哔哩 (bilibili.com)
● MIST
MIST纯粹是因为比较火,最近都在沸沸扬扬的讨论才加到这里的,望周知。注意:MIST实际上几乎没有任何作用,效果还不如脸上打水印,详情请看MIST Lora Training Test链接
- 论文:[2302.04578] Preventing Painting Imitation from Diffusion Models via Adversarial Examples
- git链接:mist-project/mist (github.com)
- mist fucker:MIST Fucker - a Hugging Face Space by mf666
MIST Lora Training Test(MIST相关LoRA训练对比测试)
- MIST & MIST FXXKER Lora Trianing TEST | Civitai
MIST effect LoRA (Lora形态MIST,启动!)
- Adjusting Mist V2 effect / Mist V2 效果调节 - v1.0 | Stable Diffusion LoRA | Civitai
● Glaze
Nightshade我找了半天只有一个视频下有Glaze这么一个链接
- Glaze - Protecting Artists from Generative AI (uchicago.edu)
● 针对于AI绘画识别器的对抗攻击:
这个以让 saltacc/anime-ai-detect 的AI画图识别器失效
- git链接:IrisRainbowNeko/anime-ai-detect-fucker (github.com)
● 图像噪声去除:
- git链接:lllyasviel/AdverseCleaner: Remove adversarial noise from images
- hf spaces:AdverseCleaner - a Hugging Face Space by p1atdev
● AI图像识别器网站:
这个网站不只是识别不准确,甚至置信度都可以被控制,不建议作为参考。并且这对于AI辅助绘画的图识别准确率几乎为0
● 人工分辨AI直接生成图:
让我们看看人工队的表现如何
● AI判官闯小游戏
提示一下,这里有很多AI图改没标AItag,或者AI图没标AI tag的图,并且图片被压缩也没放原图,迷惑性很大不能作为实际参考依据,最近玩的人多在这提一下。
11. 论坛社区 | 这是大家的圈子
a. 论坛
- CGKIT-AIhttps://bbs.cgkit.cn/
- PixAI.Art:PixAI - Anime AI Art Generator for Free
- 片绘社区:片绘 - 致力于成为最好的AI创作社区 (hua-der.com)
- SD reddit:(1) StableDiffusion (reddit.com)
b. 社群
当然除了以下推荐之外,还有一大堆QQ群或者其他群聊可以进行交流,需要注意分辨是否为打着AI交流群的买课/诈骗或者就是单纯使用AI机器人的群。
- 秋叶的甜品店https://pd.qq.com/s/52gnwun21
- National Novel School of Witchcraft and Wizardry:(QQ群)557260478
- 元素法典AI社群(请自行寻找加入方式):元素法典制作委员会
c. AI绘画社区史——纷争&演义
这是AI绘画中文社区的烂瓜破事合集。如果你不想查看中文AI社区的纷争,那么不建议查看这个文档。
12. 其他内容 | 这里不只是Stable Diffusion
a. PixArt
相关链接:
- 网站(pixart-α):PIXART-α (pixart-alpha.github.io)
- HF:PixArt-alpha (PixArt-alpha) (huggingface.co)
- Diffusers:PixArt-α --- PixArt-α (huggingface.co)
- HF DemoPixart-α - a Hugging Face Space by PixArt-alpha
- HF Demo (PixArt-LCM):PixArt LCM - a Hugging Face Space by PixArt-alpha
论文:
- PixArt-δ[2401.05252] PIXART-δ: Fast and Controllable Image Generation with Latent Consistency Models
b. Stable Cascade
StabilityAI在24春节期间又整活了,发布了新的一代文生图模型Stable Cascade,Stable Cascade是基于Wuerstchen架构包含三阶段的文生图扩散模型
- model :stabilityai/stable-cascade · Hugging Face
- code:https://github.com/Stability-AI/StableCascade/tree/master
一个简单的工作流(前瞻)
Stable Cascade文生图、图生图、变种、混合的官方工作流例子
Stable Cascade Examples | ComfyUI_examples (comfyanonymous.github.io)
Stable Cascade的FP16修复版。可以使用FP16进行训练与生图,并且在特定的设定下可以使用FP8。将不同Stage分开载入的话8GB显存即可生图。
- KBlueLeaf/Stable-Cascade-FP16-fixed · Hugging Face
c. 华为 盘古SDXL
- 网站:PanGu-Draw:
- git仓库:mindone/examples/pangu_draw_v3 at master · mindspore-lab/mindone (github.com)
- 模型:HUAWEI PanGu Draw SDXL V3 - high | Stable Diffusion Checkpoint | Civitai
- comfy节点ultranationalism/ComfyUI_Pangu_Draw_V3 (github.com)
d. StreamMultiDiffusion
● StreamDiffusion
一种实时交互生成的流水线级解决方案
LCM/Turbo + pipeline optimization
- 帖子:X 上的 あき先生 / Aki
- 解读①:StreamDiffusion:实时交互式图片生成Pipeline - 知乎 (zhihu.com)
- 解读②:【AI绘图工具】StreamDiffusion,AI出图速度100fps,基于LCM和SDXL Trubo改进 - 知乎 (zhihu.com)
- 视频:AI绘画|我的显卡风扇都懒得转 高速绘图 StreamDiffusion安装与使用_哔哩哔哩_bilibili
● StreamMultiDiffusion
StreamMultiDiffusion是一种实时交互式多文本到图像生成工具,可根据用户指定的区域文本提示生成。换句话说,你现在可以除了用画笔画出颜色之外还能画出意义的画了。
- git仓库:ironjr/StreamMultiDiffusion: Official code for the paper
- 演示视频:Jaerin Lee:Huge thanks for sharing our work!
e. BasicPBC
这项技术能够自动为动画中的线条图进行着色,极大地简化了动画制作中繁琐的手动上色步骤。BasicPBC技术的工作原理是,用户只需要对动画的一帧进行手动彩色化,然后算法就能自动将颜色传播到后续的所有帧。这意味着,即使是在人物转身、阴影变化或者被遮挡的部分,也能完美解决,无需再进行手动调整。
- 论文:[2403.18342] Learning Inclusion Matching for Animation Paint Bucket Colorization (arxiv.org)
- 网站:Learning Inclusion Matching for Animation Paint Bucket Colorization (ykdai.github.io)