2.1 机型变种
有两种可用的文本到图像模型:
- 2.1 基础模型:默认图片大小为512×512像素
- 2.1模型:默认图片大小为768×768像素
768 型号能够生成更大的图像。您可以将图像大小设置为 768×768,而不必担心臭名昭著的双头问题。
这对于生成具有小角色的大场景特别有用。可以生成比 512 模型更清晰的人脸,增加下游升级和人脸修复的成功机会。
768 模型的缺点是生成图像需要更长的时间。较大的图像可能会限制批量大小,具体取决于您的 GPU 具有多少 VRAM。
安装基础软件
我们将介绍如何在 AUTOMATIC1111 GUI 中使用 Stable Diffusion 2.0。
这个 GUI 可以很容易地安装在 Windows 系统中,或者按照您各自环境中的安装说明进行操作。理想情况下,您应该拥有至少 6GB VRAM 的专用 GPU 卡。
如果您已经拥有此 GUI,请通过在其安装位置(文件夹)下的终端中运行以下命令来确保它是最新的stable-diffusion-webui
。
git pull
下载稳定扩散 2.1 模型
2.1 底座型号(512底座)
- 下载模型文件 (v2-1_512-ema-pruned.ckpt)
https://huggingface.co/stabilityai/stable-diffusion-2-1-base/resolve/main/v2-1_512-ema-pruned.ckpt
2.下载配置文件,重命名为 v2-1_512-ema-pruned.yaml
https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference.yaml
将它们都放在模型目录中:
stable-diffusion-webui/models/Stable-diffusion
2.1型号 (768)
- 下载模型文件 (v2-1_768-ema-pruned.ckpt)
- 下载配置文件,重命名为
v2-1_768-ema-pruned.yaml
将它们都放在模型目录中:
stable-diffusion-webui/models/Stable-diffusion
2.1模型的使用方法
要使用 768 版本的 Stable Diffusion 2.1 模型,请v2-1_768-ema-pruned.ckpt
在左上角的 Stable Diffusion 检查点下拉菜单中选择。
该模型旨在生成 768×768 图像。因此,将图像宽度和/或高度设置为 768 以获得最佳效果。
要使用基本模型,请改为选择v2-1_512-ema-pruned.ckpt
。
故障排除
如果您的安装不起作用,您可以尝试一些方法。
- 查看您的 AUTOMATIC1111 GUI 是否已过时。
git pull
在终端中,使用目录下的命令stable-diffusion-webui
并重新启动 GUI。 - 检查yaml文件是否下载正确。它的内容应该是一个简单的文本文件,不能带有 HTML 标签。
- 检查 yaml 文件是否按照上一节中的描述正确重命名。
--no-half
如果 2.0 或 2.1 正在生成黑色图像,请使用启动参数或优化启用全精度--xformers
。
使用 2.1 的提示
我绝对认为 2.1 是对 2.0 的改进。图像看起来更好,并且在设计提示时需要更少的努力。
所以我要删除我的 2.0 模型。
以下是我在使用 2.1 时发现的一些技巧。
技巧一:多写
和2.0类似,提示需要非常具体和详细才能得到你想要的图像。与 v1 模型不同,简单的提示通常不适用于 2.1。
技巧 2:使用否定提示
许多人已经发现否定提示对于 v2 模型非常重要。我建议为肖像保留样板否定提示,因为很多事情都可能出错。事实上,稳定性使用
裁剪、低分辨率、画得不好的脸、框架外、画得不好的手、模糊、糟糕的艺术、模糊、文本、水印、毁容、变形、闭眼
在他们的新闻稿中的演示图片中。
技巧 3:使用正确的图像尺寸
最后,设置正确的图像尺寸。对于 512 基模型,将至少一侧设置为 512 像素,对于 768 模型,设置至少一侧为 768 像素。
玩得开心2.1!