如何使用VAE改善眼部和面部

什么是 VAE？

VAE 代表变分自动编码器。它是神经网络模型的一部分，可对来自较小潜在空间的图像进行编码和解码，从而使计算速度更快。

我需要 VAE 吗？

您无需安装 VAE 文件即可运行 Stable Diffusion——您使用的任何模型，无论是 v1、v2 还是自定义，都已经具有默认的 VAE。

当人们说下载和使用 VAE 时，他们指的是使用它的改进版本。当模型训练器使用附加数据进一步微调模型的 VAE 部分时，就会发生这种情况。他们不是发布一个大文件的全新模型，而是只发布已更新的小部分。

使用VAE有什么效果？

通常，它很小。改进后的 VAE 可以更好地从潜在空间解码图像。细节得到更好的恢复。它有助于在所有精细细节都很重要的地方渲染眼睛和文本。

Stability AI 发布了两种经过微调的 VAE 解码器变体，EMA 和 MSE。（指数移动平均和均方误差是衡量自动编码器好坏的指标。）

请参阅下面转载的比较。

Stability AI 对 EMA、MSE 和原始解码器的比较。（256×256 图像）

你应该使用哪一个？Stability 对 256×256 图像的评估是 EMA 产生更清晰的图像，而 MSE 的图像更平滑。（这符合我自己的测试。）

在我自己使用 512×512 图像对 Stable Diffusion v1.4 和 v1.5 进行的测试中，我发现某些图像在渲染眼睛方面有很大改进，尤其是当面部较小时。我没有看到渲染文本有任何改进，但我认为无论如何，没有多少人因此而使用 Stable Diffusion。

在任何情况下，新的 VAE 都不会表现得更差。要么做得更好，要么什么都不做。

下面是使用稳定扩散 v1.5 模型的原始、EMA 和 MSE 之间的比较。（提示可以在这里找到。）放大并比较差异。

原来的

母亲

均方误差

使用 SD v1.5 的原始、EMA 和 MSE 之间的 VAE 比较。请注意，原始图像中的乱码眼睛已恢复。

对文本生成的改进不是很清楚（在提示中添加了“拿着一个标志说稳定扩散”）：

原来的

母亲

均方误差

原始、EMA 和 MSE 之间的 VAE 比较。文本渲染的改进尚不清楚。

您还可以将这些 VAE 与自定义模型一起使用。我测试了一些动漫模型，但没有看到任何改进。我鼓励你自己做测试。

最后一点，EMA 和 MSE 与 Stable Diffusion v2.0 兼容。您可以使用它们，但效果很小。2.0已经很擅长渲染眼睛了。也许他们已经将改进纳入了模型。

我应该使用 VAE 吗？

如果您对获得的结果感到满意，则无需使用 VAE。例如，您已经在使用像 CodeFormer 这样的面部修复来修复眼睛。

如果你在接受所有你能得到的小改进的阵营，你应该使用 VAE。您只需要经历一次设置的麻烦。之后，艺术创作工作流程保持不变。