type
status
date
slug
summary
tags
category
icon
password
什么是Stable diffusion
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F0be92268-e9e6-48c0-a6bd-0e567110d9af%2FUntitled.png?table=block&id=a2eeb200-ab0f-4199-9579-7d5be014248c&t=a2eeb200-ab0f-4199-9579-7d5be014248c&width=2560&cache=v2)
Stable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model; LDM)。
光看名词可能很难理解,这个是什么意思。
我们先来了解什么叫扩散模型。
扩散模型分两种:
- 前向扩散
前向扩散,就像一滴墨水滴入一杯水中。墨滴在水中扩散。几分钟后,它随机分布在整个水中。你再也无法判断它最初是落在中心还是靠近边缘。
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F3d62e298-2146-42f3-92e2-a8cf7e0481bf%2FUntitled.png?table=block&id=86618765-3957-4920-8c1f-5d3dad33b50a&t=86618765-3957-4920-8c1f-5d3dad33b50a&width=768&cache=v2)
这个没什么太大难度,就是向图片变成噪声图像
- 反向扩散
反向扩散,这个才是我们的重点,就是像向后播放视频、有时光倒流的魔法一样,将上面水杯中的墨水给恢复到滴落前的状态。
像上面的猫猫图片,我们只需要告诉这个我们需要生成一张猫猫,AI模型就能根据前面的正向扩散训练得来的数据,逆向去还原图片
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fccd718b5-20b3-4a7a-8841-15164c18e008%2FUntitled.png?table=block&id=cef1585c-45bc-40d4-9513-4af3f0e9d577&t=cef1585c-45bc-40d4-9513-4af3f0e9d577&width=768&cache=v2)
但是这个训练非常复杂,需要很强的算力支持。其中
Stable diffusion
就是目前需要的算力不是那么强的方案,可以在普通家用机上部署运行。显卡显存在4G以上,都可以部署(当然还有CPU支持的版本,不过运行效率会比较低)
这样就不再受任何限制来生成自己想要的图片了
安装Stable diffusion
要使用Stable diffusion,现在有一套开源的
stable-diffusion-webui
安装好了之后即可使用了![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fd95279b2-25d4-4e1f-b08c-3697a95cc3fc%2FUntitled.png?table=block&id=68f22388-3132-4248-ae3e-a0129cda702a&t=68f22388-3132-4248-ae3e-a0129cda702a&width=2527&cache=v2)
stable-diffusion-webui
开源仓库地址:1.Windows秋叶一键启动版(强烈推荐)
使用教程:
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F932c572a-9b5f-45f7-8cec-19744f8a3e41%2FUntitled.png?table=block&id=70aa982f-4613-4a9c-ab15-dc6746606b3b&t=70aa982f-4613-4a9c-ab15-dc6746606b3b&width=1707&cache=v2)
一键即可启动
2.Docker安装
Git仓库地址:
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fde3ad7d8-be7c-4e18-ac01-a60434bb22c2%2FUntitled.png?table=block&id=3ed3c24f-db5a-41f8-8eff-7e124d69aa6c&t=3ed3c24f-db5a-41f8-8eff-7e124d69aa6c&width=939&cache=v2)
如果有Docker环境,使用docker-compose也可以很轻松的完成安装
3.从源码安装
从官方仓库:
需要使用
Python 3.10.6
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Ff10e2145-c2af-42dd-b069-e894d775c3a4%2FUntitled.png?table=block&id=0c7108e8-85e7-4a7e-9d08-34ec3e61a278&t=0c7108e8-85e7-4a7e-9d08-34ec3e61a278&width=957&cache=v2)
安装好相关环境依赖后,也可以运行起来
Stable diffusion能做什么
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Ff11ea8b7-0864-436b-8a4f-19f6098a0bb4%2FUntitled.png?table=block&id=6eeca289-4a61-40d6-ad8a-fbacad5ae95b&t=6eeca289-4a61-40d6-ad8a-fbacad5ae95b&width=2524&cache=v2)
1.文字生成图片
在开始使用文生图之前,有必要了解以下几个参数的含义:
参数 | 说明 |
Prompt | 提示词(正向) |
Negative prompt | 消极的提示词(反向) |
Width & Height | 要生成的图片尺寸。尺寸越大,越耗性能,耗时越久。 |
CFG scale | AI 对描述参数(Prompt)的倾向程度。值越小生成的图片越偏离你的描述,但越符合逻辑;值越大则生成的图片越符合你的描述,但可能不符合逻辑。 |
Sampling method | 采样方法。有很多种,但只是采样算法上有差别,没有好坏之分,选用适合的即可。 |
Sampling steps | 采样步长。太小的话采样的随机性会很高,太大的话采样的效率会很低,拒绝概率高(可以理解为没有采样到,采样的结果被舍弃了)。 |
Seed | 随机数种子。生成每张图片时的随机种子,这个种子是用来作为确定扩散初始状态的基础。不懂的话,用随机的即可。 |
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fa225ff76-4b09-4d68-a68a-1f6571d25efd%2FUntitled.png?table=block&id=bb65fce2-c221-4f27-bf32-66bd2531f7dc&t=bb65fce2-c221-4f27-bf32-66bd2531f7dc&width=2533&cache=v2)
接下来我们来生成一张赛博朋克风格的猫咪图片,配置以下参数后,点击 "Generate" 即可:
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Feee57c58-91a1-4efa-97ad-6d3422b4e2e9%2FUntitled.png?table=block&id=364e4538-7424-43ed-b146-d86a75fb787f&t=364e4538-7424-43ed-b146-d86a75fb787f&width=2521&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F8cbf6d7b-95a4-4258-88d1-390297a2c042%2FUntitled.png?table=block&id=424439dc-83d6-43e8-b9ac-ecdc3f60d7c8&t=424439dc-83d6-43e8-b9ac-ecdc3f60d7c8&width=512&cache=v2)
这里用的是官方默认的模型,效果可能不是很好
这里来给大家介绍一下现在流行的,写实风格模型:
Chilloutmix
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F75ce50a9-148d-4e46-b29e-4282c9158026%2FUntitled.png?table=block&id=9adceda0-d031-4d3a-a31e-e533703b0f46&t=9adceda0-d031-4d3a-a31e-e533703b0f46&width=1707&cache=v2)
我们先来尝试一下简单的效果
将我上面的内容直接copy过去
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F5a49a9a9-194a-4271-9f84-83a8953b4281%2FUntitled.png?table=block&id=59025645-603f-4117-b349-a3d54e8c5dbd&t=59025645-603f-4117-b349-a3d54e8c5dbd&width=2536&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F399b4f3c-0192-4d3b-8a42-3e2f00d8808d%2FUntitled.png?table=block&id=9301198a-936f-4b8c-b2e7-5300b897b49d&t=9301198a-936f-4b8c-b2e7-5300b897b49d&width=2531&cache=v2)
要想效果好,现在一般都会采用附加Lora模型
Lora模型下载网站:https://civitai.com/
这里我们使用:Cute_girl_mix4
下载好模型:
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F3c522db2-179c-474a-8547-202e528255ff%2FUntitled.png?table=block&id=20e600ae-3027-4c14-b2ea-110b0ff07493&t=20e600ae-3027-4c14-b2ea-110b0ff07493&width=2040&cache=v2)
将模型放入:
xxx\models\Lora
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fecaae4c0-71b8-4209-8661-32c7fb1ff56c%2FUntitled.png?table=block&id=e41394db-ac2d-4459-8eed-80b509e24ef4&t=e41394db-ac2d-4459-8eed-80b509e24ef4&width=837&cache=v2)
在网页选择模型
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fa7fb8e5b-3210-45fa-a0fd-e8e250d542c9%2FUntitled.png?table=block&id=163a17aa-ee5b-4f18-9128-d927a4b8bc90&t=163a17aa-ee5b-4f18-9128-d927a4b8bc90&width=2549&cache=v2)
填入刚刚网站上找一找你喜欢的图片,复制的参数(注意模型的版本不一样可能和样图有区别):
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F9cb60666-9df4-4870-b05b-5ffd208f1ade%2FUntitled.png?table=block&id=0beb6ce3-4bb8-4326-9f11-2d1a6feff938&t=0beb6ce3-4bb8-4326-9f11-2d1a6feff938&width=2341&cache=v2)
先点击应用参数,然后再生成
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F2cef4640-7fe3-42fd-ae75-781191ab89fc%2FUntitled.png?table=block&id=f408f029-97a7-4cf5-b02d-7f39ef647cd4&t=f408f029-97a7-4cf5-b02d-7f39ef647cd4&width=2537&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F041ab423-cb5c-4282-a1fa-107fc285be46%2FUntitled.png?table=block&id=4b22fb92-ca02-44f8-aa4c-a9f4a7dcd28c&t=4b22fb92-ca02-44f8-aa4c-a9f4a7dcd28c&width=2495&cache=v2)
剩下的大家可以自行前往体验
更多的提示语:https://tags.novelai.dev/
更多的模型网站:https://pixai.art/
2.图生图
这里就简单的介绍一下吧
就是以你提供的图片为基础,然和和文本一起,填写相关的提示词,生成更多的图片
我在上面的例子里,稍微改了一些生成相关的参数
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F17a3e1b7-e16b-48fe-a582-9ae9201a288f%2FUntitled.png?table=block&id=0572cf4f-f6ff-40e7-bf22-f47bc3303bac&t=0572cf4f-f6ff-40e7-bf22-f47bc3303bac&width=2522&cache=v2)
这样就得到了大量的类似图片
3.高级用法-训练自己的模型
有兴趣的可以参考:
就正如上面从网站上下载的lora模型一样,其实都是别人提供图片素材训练好的
我们也可以根据我们自己的画风、美术素材,去针对性的训练符合自己要求的模型,用来帮助我们更好的产出美术资源
- 作者:PolarisAspire
- 链接:https://lpolaris.com//article/unitysd
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。