Tensor.Art
在线生图

【SD潜工具书③】好用的、暂时没用的or其他的 | 论文、网站、社区……


更新

9.  工作流程 | 帮助你干活的

LightFlow是一个基于SD的开源插件,它可以帮助你一键保存所有工作流数据(包括垫图和其他第三方插件设置),下次使用只需拖入.flow文件,就能快速复现整个工作流,就像使用Photoshop的PSD文件那样方便。

- ‌⁤‍ ‬⁡ ‌ ‍‌‍⁢ ⁤⁡‌‌‬⁡⁣⁣⁣⁡⁡⁢⁤⁣⁢ ⁡⁣⁤⁢⁤⁣⁤⁤ ‌‌ ‍‬‌LightFlow公测文档 - 飞书云文档 (feishu.cn)

- git仓库:Tencent/LightDiffusionFlow

- 开源交流社区:lightflow.ai

a. DragDiffusion控制器

- DragDiffusion论文:[2306.14435] DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing

- Drag git仓库Yujun-Shi/DragDiffusion: Official code for DragDiffusion

可以根据自己需要控制图片中的内容的一个工具,具体效果可以查看下面的链接

- DragDiffusion

本地安装部署教程

- DragGAN官方本地安装部署教程

DragNUWA生成可控动画(Comfy)

- 节点地址:chaojie/ComfyUI-DragNUWA --- chaojie/ComfyUI-DragNUWA (github.com)

- 介绍视频:【保姆级教程】手摸手教会你生成可控动画,基于DragNUWA实现_哔哩哔哩_bilibili

- 轨迹定义用网站:TRAJ MOTION DESIGNER (chaojie.github.io)

b. ControlNet控制网相关应用

ControlNet相关的工作流或者是应用太多了,随便搜索都有几百个例子,不可能全部都放到文档内,这里生成二维码仅作举例说明。

AI 生成可识别风格二维码:

相关模型:

- Controlnet QR Pattern (QR Codes) - v1.0

相关git仓库:

- qrcode-toolkit: Anthony's QR Code Toolkit for AI generated QR Codes

与之相关教程与链接合集,以及如何制作有效的风格二维码:

- Stylistic QR Code with Stable Diffusion (antfu.me)

- Refining AI Generated QR Code (antfu.me)

原始链接,最开始提出概念的文章:

- AI 生成可扫码图像 — 新 ControlNet 模型展示 (qq.com)

c. StableSR 超分

- git仓库IceClear/StableSR

- 论文:[2305.07015] Exploiting Diffusion Prior for Real-World Image Super-Resolution (arxiv.org)

- StableSR的Webui插件:pkuliyi2015/sd-webui-stablesr

- 网站: StableSR | MMLab@NTU (iceclear.github.io)

- 对比:四种图像放大策略的简单比较

d. Segment Anything分割万物

这个东西应用范围非常广泛,从AI训练数据集的处理到l2d的拆分等,下面仅为几个例子:

- 论文:[2304.02643] Segment Anything (arxiv.org)

- 论文解读①:【论文精读】Segment Anything论文精读(上)_哔哩哔哩_bilibili

- 论文解读②:https://www.bilibili.com/video/BV1uL411e73k/

- git仓库:facebookresearch/segment-anything

- 网站:Segment Anything | Meta AI (segment-anything.com)

- Segment Anything for WebUi:sd-webui-segment-anything


基于segment-anything遥感影像识别分割,矢量化:

- 首个基于segment-anything一键自动提取建筑物轮廓,AI智能遥感影像识别

- step2直角化,轮廓规则化!

- 见证颠覆!令人惊叹的SAM遥感影像分割直角化,轮廓规则化

segment-anything自动分割同图层内容。便于修改已画好但是没有区分图层的内容,或用于换装等其他用途。

- AI绘图小寄巧之通过SAManything实现换丝袜自由_哔哩哔哩_bilibili

另外Segment Anything还可用于L2d立绘图的拆分等众多用途,具体还有什么别的作用,自行测试应用即可。

e. CartoonGAN照片转二次元

- git仓库FlyingGoblin/CartoonGAN (github.com)

- 论文:CartoonGan-CVPR2018.pdf (tsinghua.edu.cn)

- 几个模型:akiyamasho/AnimeBackgroundGAN-Shinkai · Hugging Face

f. LayerDiffusion

LayerDiffusion是ControlNet的作者等人共同提出的一种利用大规模预训练的潜在扩散模型(如Stable Diffusion)生成透明图像的技术,可以帮助用户生成单个透明图像或多个透明图层。

- 论文:[2402.17113] Transparent Image Layer Diffusion using Latent Transparency (arxiv.org)

- 说明文档:LayerDiffusion - AI生成具有透明度的图像的框架 | AI工具集 (ai-bot.cn)

- 插件(forge):layerdiffusion/sd-forge-layerdiffusion: [WIP] Layer Diffusion for WebUI (via Forge) (github.com)

10.  网站文章 | 让我看看还有没有其他好东西?

有需要再进行补充

a. AIGC合集文档

文档旨在囊括以生图为基点的生成式 AI 的全链路实践,从模型设计、数据获取到训练、微调、推理和其他

- AIGC All in One (latentcat.com)

通往AGI之路(非常全面,但部分内容不严谨,存在不少错误内容、过时内容和营销号内容)

- 通往 AGI 之路 - 飞书云文档 (feishu.cn)

- 🌈通往AGI之路

b. 其他链接

AIGC相关内容速查,涉及内容全面(截止到2023/9,无后续更新)

- Ai generative art tools (pharmapsychotic.com)

"NAI Anine" Pure Negative Prompt (and more)

- 6DammK9/nai-anime-pure-negative-prompt

SD RESOURCE GOLDMINE

- SD RESOURCE GOLDMINE (rentry.org)

- SD RESOURCE GOLDMINE 2

- SD RESOURCE GOLDMINE 3

- SD Updates (3) (rentry.org)

Just yet another Stable Diffusion links hub (WIP)

- Just yet another Stable Diffusion links hub (WIP) (rentry.org)

SD Hypertextbook

- SD Hypertextbook (rentry.org)

More /sdg/ links

- More /sdg/ links (rentry.org)

Random stuff/info from random places

- Random stuff/info from random places (rentry.org)

c. 其他工具/文章/补充链接合集

- NovelAi.DEV:NovelAI.Dev

- SD法术解析Stable Diffusion 法术解析 (novelai.dev)

- 画图机器人(Koish.js):NovelAI Bot

- 画图机器人(Nonebot):Nonebot-plugin-novelai | nonebot-plugin-novelai

- 动漫图片去背景:Anime Remove Background

- 搭建AI绘图bot教程:绘画Bot:从入坑到上香

- 一篇好笑的文章:何故日本のAI技術は中国人に完全敗北したのか?

- 给外行人看的AI绘画版权观察:被AI夺走工作的人,决定反抗AI|深氪lite

- 好用的图片处理工具clipdrop.co/tools

- 转矢量图Convert PNG, JPG files to SVG vectors online - Vectorizer.AI

- 超分:Bigjpg - AI人工智能图片无损放大 - 使用人工智能深度卷积神经网络(CNN)无损放大图片

- 图片去除背景①:在线抠图软件_图片去除背景 | remove.bg – remove.bg

- 图片去除背景②:Remove Background From Photos | Free Image Background Remover | RemovePhotos

LLM+Diffusion实现可控图像翻译

- 解读:LLM+Diffusion实现可控图像翻译!Meta AI提出DVP新框架! (qq.com)

- 论文:[2401.09742] Image Translation as Diffusion Visual Programmers (arxiv.org)

● 快速分别AI图

能够通过多种方法快速分辨AI生成图,并且有较高的识别率

- 如何快速分辨AI生成图V

● 神经网络可视化

nn_vis:

- 介绍文档:神经网络可视化有3D版本了,美到沦陷!(已开源) (qq.com)

- 开发过程:Stefan Sietzen || Visuality (vimeo.com)

- git仓库:julrog/nn_vis(github.com)

a Neural Network playground: 这个用来解释训练参数应该怎么调还挺直观的

- A Neural Network Playground (tensorflow.org)

● AI修图工具

- 相关链接:Hua - AI painting with Stable Diffusion - www.PaintHua.com

- 介绍视频:【AI绘画】我做的修 AI 图工具,可以修手脚,可以拓展画面,可以白嫖 colab 算力

d. AI对抗相关

要抵制AI绘画,应该以AI挤占画师生存空间、模仿画师画风的名义去抵制,而不是传播“尸块”等这种谣言去攻击合法使用者,这是对他人名誉权的侵犯。

- 使用AI需要正规化,抵制AI同样需要正规化 - 哔哩哔哩 (bilibili.com)

● 「AAP」整合包

AdversarialAttackPlayground (油漆厂)整合包,一键启动,拥有 Mist-v2、Glaze 等 AI “毒丸”,保护图像免受 AI 训练。和一键去除 Mist-v2、Glaze 的干扰的工具。

- 秋葉aaaki的动态-哔哩哔哩 (bilibili.com)

● MIST

MIST纯粹是因为比较火,最近都在沸沸扬扬的讨论才加到这里的,望周知。注意:MIST实际上几乎没有任何作用,效果还不如脸上打水印,详情请看MIST Lora Training Test链接

- 论文:[2302.04578] Preventing Painting Imitation from Diffusion Models via Adversarial Examples

- git链接:mist-project/mist (github.com)

- mist fucker:MIST Fucker - a Hugging Face Space by mf666

MIST Lora Training Test(MIST相关LoRA训练对比测试)

- MIST & MIST FXXKER Lora Trianing TEST | Civitai

- MIST & MIST FXXKER Lora Trianing TEST LORA and Data - train_data&lora | Stable Diffusion LoRA | Civitai

MIST effect LoRA (Lora形态MIST,启动!)

- Adjusting Mist V2 effect / Mist V2 效果调节 - v1.0 | Stable Diffusion LoRA | Civitai

● Glaze

Nightshade我找了半天只有一个视频下有Glaze这么一个链接

- Glaze - Protecting Artists from Generative AI (uchicago.edu)

● 针对于AI绘画识别器的对抗攻击:

这个以让 saltacc/anime-ai-detect 的AI画图识别器失效

- git链接:IrisRainbowNeko/anime-ai-detect-fucker (github.com)

● 图像噪声去除:

- git链接:lllyasviel/AdverseCleaner: Remove adversarial noise from images

- hf spaces:AdverseCleaner - a Hugging Face Space by p1atdev

● AI图像识别器网站:

这个网站不只是识别不准确,甚至置信度都可以被控制,不建议作为参考。并且这对于AI辅助绘画的图识别准确率几乎为0

- Hive Moderation

● 人工分辨AI直接生成图:

让我们看看人工队的表现如何

- 如何快速分辨AI生成图V

● AI判官闯小游戏

提示一下,这里有很多AI图改没标AItag,或者AI图没标AI tag的图,并且图片被压缩也没放原图,迷惑性很大不能作为实际参考依据,最近玩的人多在这提一下。

- AI判官 (yyhutil.com)

11.  论坛社区 | 这是大家的圈子

a. 论坛

- CGKIT-AIhttps://bbs.cgkit.cn/

- PixAI.Art:PixAI - Anime AI Art Generator for Free

- 片绘社区:片绘 - 致力于成为最好的AI创作社区 (hua-der.com)

- SD reddit:(1) StableDiffusion (reddit.com)

b. 社群

当然除了以下推荐之外,还有一大堆QQ群或者其他群聊可以进行交流,需要注意分辨是否为打着AI交流群的买课/诈骗或者就是单纯使用AI机器人的群。

- 秋叶的甜品店https://pd.qq.com/s/52gnwun21

- National Novel School of Witchcraft and Wizardry:(QQ群)557260478

- 元素法典AI社群(请自行寻找加入方式):元素法典制作委员会

c. AI绘画社区史——纷争&演义

这是AI绘画中文社区的烂瓜破事合集。如果你不想查看中文AI社区的纷争,那么不建议查看这个文档。

- 一些瓜,与技术无关

12.  其他内容 | 这里不只是Stable Diffusion

a. PixArt

相关链接:

- 网站(pixart-α):PIXART-α (pixart-alpha.github.io)

- git仓库:PixArt-alpha/PixArt-alpha: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis

- HF:PixArt-alpha (PixArt-alpha) (huggingface.co)

- Diffusers:PixArt-α --- PixArt-α (huggingface.co)

- HF DemoPixart-α - a Hugging Face Space by PixArt-alpha

- HF Demo (PixArt-LCM):PixArt LCM - a Hugging Face Space by PixArt-alpha

论文:

- PixArt-α:[2310.00426] PixArt-α: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis

- PixArt-δ[2401.05252] PIXART-δ: Fast and Controllable Image Generation with Latent Consistency Models

b. Stable Cascade

StabilityAI在24春节期间又整活了,发布了新的一代文生图模型Stable Cascade,Stable Cascade是基于Wuerstchen架构包含三阶段的文生图扩散模型

- model :stabilityai/stable-cascade · Hugging Face

- code:https://github.com/Stability-AI/StableCascade/tree/master

一个简单的工作流(前瞻)

- kijai/ComfyUI-DiffusersStableCascade: Simple inference with StableCascade using diffusers in ComfyUI (github.com)

Stable Cascade文生图、图生图、变种、混合的官方工作流例子

Stable Cascade Examples | ComfyUI_examples (comfyanonymous.github.io)

Stable Cascade的FP16修复版。可以使用FP16进行训练与生图,并且在特定的设定下可以使用FP8。将不同Stage分开载入的话8GB显存即可生图。

- KBlueLeaf/Stable-Cascade-FP16-fixed · Hugging Face

c. 华为 盘古SDXL

- 网站:PanGu-Draw:

- 论文:[2312.16486] PanGu-Draw

- git仓库:mindone/examples/pangu_draw_v3 at master · mindspore-lab/mindone (github.com)

- 模型:HUAWEI PanGu Draw SDXL V3 - high | Stable Diffusion Checkpoint | Civitai

- comfy节点ultranationalism/ComfyUI_Pangu_Draw_V3 (github.com)

d. StreamMultiDiffusion

● StreamDiffusion

一种实时交互生成的流水线级解决方案

LCM/Turbo + pipeline optimization

- 帖子:X 上的 あき先生 / Aki

- HF:Paper page - StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation (huggingface.co)

- git: cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation

- 论文:[2312.12491] StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation (arxiv.org)

- 解读①:StreamDiffusion:实时交互式图片生成Pipeline - 知乎 (zhihu.com)

- 解读②:【AI绘图工具】StreamDiffusion,AI出图速度100fps,基于LCM和SDXL Trubo改进 - 知乎 (zhihu.com)

- 视频:AI绘画|我的显卡风扇都懒得转 高速绘图 StreamDiffusion安装与使用_哔哩哔哩_bilibili

● StreamMultiDiffusion

StreamMultiDiffusion是一种实时交互式多文本到图像生成工具,可根据用户指定的区域文本提示生成。换句话说,你现在可以除了用画笔画出颜色之外还能画出意义的画了。

- git仓库:ironjr/StreamMultiDiffusion: Official code for the paper

- 论文:[2403.09055] StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control (arxiv.org)

- 演示视频:Jaerin Lee:Huge thanks for sharing our work!

e. BasicPBC

这项技术能够自动为动画中的线条图进行着色,极大地简化了动画制作中繁琐的手动上色步骤。BasicPBC技术的工作原理是,用户只需要对动画的一帧进行手动彩色化,然后算法就能自动将颜色传播到后续的所有帧。这意味着,即使是在人物转身、阴影变化或者被遮挡的部分,也能完美解决,无需再进行手动调整。

- 论文:[2403.18342] Learning Inclusion Matching for Animation Paint Bucket Colorization (arxiv.org)

- 网站:Learning Inclusion Matching for Animation Paint Bucket Colorization (ykdai.github.io)

- 代码:https://github.com/ykdai/BasicPBC

1
0

评论