手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取）

AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有惊人视觉效果的图像，其背后的运行机制显得十分神秘与神奇，但确实影响了人类创造艺术的方式。

AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有惊人视觉效果的图像，其背后的运行机制显得十分神秘与神奇，但确实影响了人类创造艺术的方式。

Stable Diffusion的发布是AI图像生成发展过程中的一个里程碑，相当于给大众提供了一个可用的高性能模型，不仅生成的图像质量非常高，运行速度快，并且有资源和内存的要求也较低。

相信只要试过AI图像生成的人都会想了解它到底是如何工作的，这篇文章就将为你揭开Stable Diffusion工作原理的神秘面纱。

Stable Diffusion从功能上来说主要包括两方面：

1）其核心功能为仅根据文本提示作为输入来生成的图像（text2img）；
2）你也可以用它对图像根据文字描述进行修改（即输入为文本+图像）。

下面将使用图示来辅助解释Stable Diffusion的组件，它们之间如何交互，以及图像生成选项及参数的含义。

Stable Diffusion组件

Stable Diffusion是一个由多个组件和模型组成的系统，而非单一的模型。

当我们从模型整体的角度向模型内部观察时，可以发现，其包含一个文本理解组件用于将文本信息翻译成数字表示（numeric representation），以捕捉文本中的语义信息。

虽然目前还是从宏观角度分析模型，后面才有更多的模型细节，但我们也可以大致推测这个文本编码器是一个特殊的Transformer语言模型（具体来说是CLIP模型的文本编码器）。

模型的输入为一个文本字符串，输出为一个数字列表，用来表征文本中的每个单词/token，即将每个token转换为一个向量。

然后这些信息会被提交到图像生成器（image generator）中，它的内部也包含多个组件。

图像生成器主要包括两个阶段：

1. Image information creator
这个组件是Stable Diffusion的独家秘方，相比之前的模型，它的很多性能增益都是在这里实现的。

该组件运行多个steps来生成图像信息，其中steps也是Stable Diffusion接口和库中的参数，通常默认为50或100。

图像信息创建器完全在图像信息空间（或潜空间）中运行，这一特性使得它比其他在像素空间工作的Diffusion模型运行得更快；从技术上来看，该组件由一个UNet神经网络和一个调度（scheduling）算法组成。

扩散（diffusion）这个词描述了在该组件内部运行期间发生的事情，即对信息进行一步步地处理，并最终由下一个组件（图像解码器）生成高质量的图像。

2. 图像解码器

图像解码器根据从图像信息创建器中获取的信息画出一幅画，整个过程只运行一次即可生成最终的像素图像。

可以看到，Stable Diffusion总共包含三个主要的组件，其中每个组件都拥有一个独立的神经网络：

1）Clip Text用于文本编码。

输入：文本

输出：77个token嵌入向量，其中每个向量包含768个维度

2）UNet + Scheduler在信息（潜）空间中逐步处理/扩散信息。

输入：文本嵌入和一个由噪声组成的初始多维数组（结构化的数字列表，也叫张量tensor）。

输出：一个经过处理的信息阵列

3）自编码解码器（Autoencoder Decoder），使用处理过的信息矩阵绘制最终图像的解码器。

输入：处理过的信息矩阵，维度为（4, 64, 64）

输出：结果图像，各维度为（3，512，512），即（红/绿/蓝，宽，高）

什么是Diffusion？

扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。

整个运行过程是step by step的，每一步都会增加更多的相关信息。

为了更直观地感受整个过程，可以中途查看随机latents矩阵，并观察它是如何转化为视觉噪声的，其中视觉检查（visual inspection）是通过图像解码器进行的。

整个diffusion过程包含多个steps，其中每个step都是基于输入的latents矩阵进行操作，并生成另一个latents矩阵以更好地贴合「输入的文本」和从模型图像集中获取的「视觉信息」。

将这些latents可视化可以看到这些信息是如何在每个step中相加的。

整个过程就是从无到有，看起来相当激动人心。

步骤2和4之间的过程转变看起来特别有趣，就好像图片的轮廓是从噪声中出现的。

Diffusion的工作原理

扩散模型是一种生成模型，用于生成与训练数据相似的数据。简单的说，扩散模型的工作方式是通过迭代添加高斯噪声来“破坏”训练数据，然后学习如何消除噪声来恢复数据。

一个标准扩散模型有两个主要过程：正向扩散和反向扩散。

在正向扩散阶段，通过逐渐引入噪声来破坏图像，直到图像变成完全随机的噪声。

在反向扩散阶段，使用一系列马尔可夫链逐步去除预测噪声，从高斯噪声中恢复数据。

通过缓慢添加（去除）噪声来生成样本的正向（反向）扩散过程的马尔可夫链(图片来源: Jonathan Ho, Ajay Jain, Pieter Abbeel. 2020)

对于噪声的估计和去除，最常使用的是 U-Net。该神经网络的架构看起来像字母 U，由此得名。U-Net 是一个全连接卷积神经网络，这使得它对图像处理非常有用。U-Net的特点在于它能够将图像作为入口，并通过减少采样来找到该图像的低维表示，这使得它更适合处理和查找重要属性，然后通过增加采样将图像恢复回来。

一个典型的U-Net架构实例
具体的说，所谓去除噪声就是从时间帧 t 向时间帧 t − 1 的变换，其中 t 是 t 0（没有噪声）到 t_{max}（完全噪声）之间的任意时间帧。变换规则为：

1. 输入时间帧 t 的图像，并且在该时间帧上图像存在特定噪声；
2. 使用 U-Net 预测总噪声量；
3. 然后在时间帧 t 的图像中去除总噪声的“一部分”，得到噪声较少的时间帧 t − 1 的图像。
   

向图片逐步增加/删除噪声
从数学上讲，执行此上述方法 T 次比尝试消除整个噪声更有意义。通过重复这个过程，噪声会逐渐被去除，我们会得到一个更“干净”的图像。比如对于带有噪声的图，我们通过在初始图像上添加完全噪声，然后再迭代地去除它来生成没有噪声的图像，效果比直接在原图上去除噪声要好。

近几年，扩散模型在图像生成任务中表现出突出的性能，并在图像合成等多个任务中取代了GAN。由于扩散模型能够保持数据的语义结构，因此不会受到模式崩溃的影响。

然而，实现扩散模型存在一些困难。因为所有马尔可夫状态都需要一直在内存中进行预测，这意味着内存中要一直保存多个大型深度网络的实例，从而导致扩散模型非常吃内存。此外，扩散模型可能会陷入图像数据中难以察觉的细粒度复杂性中，导致训练时间变得太长（几天到几个月）。矛盾的是，细粒度图像生成是扩散模型的主要优势之一，我们无法避免这个“甜蜜的烦恼”。由于扩散模型对计算要求非常高，训练需要非常大的内存和电量，这使得早前大多数研究人员无法在现实中实现该模型。

Stable Diffusion

扩散模型最大的问题是它的时间成本和经济成本都极其“昂贵”。Stable Diffusion的出现就是为了解决上述问题。如果我们想要生成一张 1024 × 1024 1024 尺寸的图像，U-Net 会使用 1024 × 1024 1024尺寸的噪声，然后从中生成图像。这里做一步扩散的计算量就很大，更别说要循环迭代多次直到100%。一个解决方法是将大图片拆分为若干小分辨率的图片进行训练，然后再使用一个额外的神经网络来产生更大分辨率的图像（超分辨率扩散）。

2021年发布的Latent Diffusion模型给出了不一样的方法。 Latent Diffusion模型不直接在操作图像，而是在潜在空间中进行操作。通过将原始数据编码到更小的空间中，让U-Net可以在低维表示上添加和删除噪声（stable Diffusion的核心原理就是Latent Diffusion）。

使用扩散模型生成图像的核心思路还是基于已存在的强大的计算机视觉模型，只要输入足够大的数据集，这些模型可以学习任意复杂的操作。

假设我们已经有了一张图像，生成产生一些噪声加入到图像中，然后就可以将该图像视作一个训练样例。

训练示例是通过生成噪声并将一定的噪声添加到训练数据集中生成的（前向扩散）

使用相同的操作可以生成大量训练样本来训练图像生成模型中的核心组件。

上述例子展示了一些可选的噪声量值，从原始图像(级别0，不含噪声)到噪声全部添加(级别4) ，从而可以很容易地控制有多少噪声添加到图像中。

所以我们可以将这个过程分散在几十个steps中，对数据集中的每张图像都可以生成数十个训练样本。

基于上述数据集，我们就可以训练出一个性能极佳的噪声预测器，每个训练step和其他模型的训练相似。当以某一种确定的配置运行时，噪声预测器就可以生成图像。

移除噪声，绘制图像

经过训练的噪声预测器可以对一幅添加噪声的图像进行去噪，也可以预测添加的噪声量。

由于采样的噪声是可预测的，所以如果从图像中减去噪声，最后得到的图像就会更接近模型训练得到的图像。

得到的图像并非是一张精确的原始图像，而是分布（distribution），即世界的像素排列，比如天空通常是蓝色的，人有两只眼睛，猫有尖耳朵等等，生成的具体图像风格完全取决于训练数据集。

不止Stable Diffusion通过去噪进行图像生成，DALL-E 2和谷歌的Imagen模型都是如此。

需要注意的是，到目前为止描述的扩散过程还没有使用任何文本数据生成图像。因此，如果我们部署这个模型的话，它能够生成很好看的图像，但用户没有办法控制生成的内容。

在接下来的部分中，将会对如何将条件文本合并到流程中进行描述，以便控制模型生成的图像类型。

加速：在压缩数据上扩散

 **潜在空间(Lantent Space)**

潜在空间简单的说是对压缩数据的表示。所谓压缩指的是用比原始表示更小的数位来编码信息的过程。比如我们用一个颜色通道（黑白灰）来表示原来由RGB三原色构成的图片，此时每个像素点的颜色向量由3维变成了1维度。维度降低会丢失一部分信息，然而在某些情况下，降维不是件坏事。通过降维我们可以过滤掉一些不太重要的信息你，只保留最重要的信息。

假设我们像通过全连接的卷积神经网络训练一个图像分类模型。当我们说模型在学习时，我们的意思是它在学习神经网络每一层的特定属性，比如边缘、角度、形状等……每当模型使用数据（已经存在的图像）学习时，都会将图像的尺寸先减小再恢复到原始尺寸。最后，模型使用解码器从压缩数据中重建图像，同时学习之前的所有相关信息。因此，空间变小，以便提取和保留最重要的属性。这就是潜在空间适用于扩散模型的原因。

利用卷积神经网络提取最重要的属性
任何生成性学习方法都有两个主要阶段：感知压缩和语义压缩：

在感知压缩学习阶段，学习方法必须去除高频细节将数据封装到抽象表示中。此步骤对构建一个稳定、鲁棒的环境表示是必要的。GAN 擅长感知压缩，通过将高维冗余数据从像素空间投影到潜在空间的超空间来实现这一点。潜在空间中的潜在向量是原始像素图像的压缩形式，可以有效地代替原始图像。

更具体地说，用自动编码器 (Auto Encoder) 结构捕获感知压缩。 自动编码器中的编码器将高维数据投影到潜在空间，解码器从潜在空间恢复图像。

语义压缩

在学习的第二阶段，图像生成方法必须能够捕获数据中存在的语义结构。 这种概念和语义结构提供了图像中各种对象的上下文和相互关系的保存。 Transformer擅长捕捉文本和图像中的语义结构。 Transformer的泛化能力和扩散模型的细节保存能力相结合，提供了两全其美的方法，并提供了一种生成细粒度的高度细节图像的方法，同时保留图像中的语义结构（UNet结构中的Transformer主要用于语义压缩）。

感知损失

潜在扩散模型中的自动编码器通过将数据投影到潜在空间来捕获数据的感知结构。论文作者使用一种特殊的损失函数来训练这种称为“感知损失”的自动编码器。该损失函数确保重建限制在图像流形内，并减少使用像素空间损失（例如 L1/L2 损失）时出现的模糊。

为了加速图像生成的过程，Stable Diffusion并没有选择在像素图像本身上运行扩散过程，而是选择在图像的压缩版本上运行，论文中也称之为「Departure to Latent Space」。

整个压缩过程，包括后续的解压、绘制图像都是通过自编码器完成的，将图像压缩到潜空间中，然后仅使用解码器使用压缩后的信息来重构。

前向扩散（forward diffusion）过程是在压缩latents完成的，噪声的切片（slices）是应用于latents上的噪声，而非像素图像，所以噪声预测器实际上是被训练用来预测压缩表示（潜空间）中的噪声。

前向过程，即使用自编码器中的编码器来训练噪声预测器。一旦训练完成后，就可以通过运行反向过程（自编码器中的解码器）来生成图像。

前向和后向过程如下所示，图中还包括了一个conditioning组件，用来描述模型应该生成图像的文本提示。

文本编码器：一个Transformer语言模型

模型中的语言理解组件使用的是Transformer语言模型，可以将输入的文本提示转换为token嵌入向量。发布的Stable Diffusion模型使用 ClipText (基于 GPT 的模型) ，这篇文章中为了方便讲解选择使用 BERT模型。

Imagen论文中的实验表明，相比选择更大的图像生成组件，更大的语言模型可以带来更多的图像质量提升。

早期的Stable Diffusion模型使用的是OpenAI发布的经过预训练的 ClipText 模型，而在Stable Diffusion V2中已经转向了最新发布的、更大的CLIP模型变体OpenClip.

CLIP是怎么训练的？

CLIP需要的数据为图像及其标题，数据集中大约包含4亿张图像及描述。

数据集通过从网上抓取的图片以及相应的「alt」标签文本来收集的。

CLIP 是图像编码器和文本编码器的组合，其训练过程可以简化为拍摄图像和文字说明，使用两个编码器对数据分别进行编码。

然后使用余弦距离比较结果嵌入，刚开始训练时，即使文本描述与图像是相匹配的，它们之间的相似性肯定也是很低的。

随着模型的不断更新，在后续阶段，编码器对图像和文本编码得到的嵌入会逐渐相似。

通过在整个数据集中重复该过程，并使用大batch size的编码器，最终能够生成一个嵌入向量，其中狗的图像和句子「一条狗的图片」之间是相似的。

就像在 word2vec 中一样，训练过程也需要包括不匹配的图片和说明的负样本，模型需要给它们分配较低的相似度分数。

文本信息喂入图像生成过程：

文本-图像合成：在 Python 实现中，我们可以使用使用 LDM v4 的最新官方实现来生成图像。 在文本到图像的合成中，潜在扩散模型使用预训练的 CLIP 模型3，该模型为文本和图像等多种模态提供基于Transformer的通用嵌入。 然后将Transformer模型的输出输入到称为“diffusers”的潜在扩散模型Python API，同时还可以设置一些参数（例如，扩散步数、随机数种子、图像大小等）。

为了将文本条件融入成为图像生成过程的一部分，必须调整噪声预测器的输入为文本。

所有的操作都是在潜空间上，包括编码后的文本、输入图像和预测噪声。

为了更好地了解文本token在 Unet 中的使用方式，还需要先了解一下 Unet模型。

Unet 噪声预测器中的层（无文本）

一个不使用文本的diffusion Unet，其输入输出如下所示：

在模型内部，可以看到：

1. Unet模型中的层主要用于转换latents；
2. 每层都是在之前层的输出上进行操作；
3. 某些输出（通过残差连接）将其馈送到网络后面的处理中
4. 将时间步转换为时间步长嵌入向量，可以在层中使用。

Unet 噪声预测器中的层（带文本）

现在就需要将之前的系统改装成带文本版本的。

条件扩散

扩散模型是依赖于先验的条件模型。在图像生成任务中，先验通常是文本、图像或语义图。为了获得先验的潜在表示，需要使用转换器（例如 CLIP）将文本/图像嵌入到潜在向量τ \tauτ中。因此，最终的损失函数不仅取决于原始图像的潜在空间，还取决于条件的潜在嵌入。

主要的修改部分就是增加对文本输入（术语：text conditioning）的支持，即在ResNet块之间添加一个注意力层。

需要注意的是，ResNet块没有直接看到文本内容，而是通过注意力层将文本在latents中的表征合并起来，然后下一个ResNet就可以在这一过程中利用上文本信息。

AI绘画所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

👉stable diffusion新手0基础入门PDF👈

👉AI绘画必备工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

 

本文使用工具，作者:秋葉aaaki

 

免责声明:
工具免费提供 无任何盈利目的

 

大家好，我是风雨无阻。

今天为大家带来的是 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解。

 

目前，AI 绘画Stable Diffusion的各种模型层出不穷，这些模型都有什么作用？又该怎么安装使用？对于新手朋友来说，是非常大的困扰。

 

这篇文章将会为你介绍AI 绘画Stable Diffusion的模型种类、模型的安装及使用方法、以及模型的选择和下载。

 

不同的模型有不同的画风如：线条风格、手绘风格、立体风格、科幻风格、真人风格。

还有不同的概念，例如：人物、物体、动作等。

这些都是目前Stable Diffusion 模型众多的原因。

那么，Stable Diffusion的模型具体有哪些种类呢，都有什么作用呢？

 

一、Stable Diffusion的模型详解

1、模型种类

当前，常见的模型可以分为两大类：

• 大模型：这里的大模型特指标准的 latent-diffusion 模型，拥有完整的 TextEncoder、U-Net、VAE。
• 微调大模型的小模型

   

由于想要炼制、微调大模型非常的困难，需要比较好的显卡、比较高的算力， 因此更多的选择是去炼制小型模型。

 

这些小型模型通过作用在大模型的不同部分，来修改大模型，从而达到目的。

 

常见的用于微调大模型的小模型又分为以下几种：

• Textual inversion (Embedding模型)
• Hypernetwork模型
• LoRA模型

 

还有一种叫做 VAE （VAE, Variational autoencoder，变分自编码器，负责将潜空间的数据转换为正常图像）的模型，通常来讲 VAE 可以看做是类似滤镜一样的东西，会影响出图的画面的色彩和某些极其微小的细节。

 

如图：

 

其实大模型本身就自带 VAE 的，但是一些融合模型的 VAE坏了 （例如：Anything-v3），有时画面发灰就是因为这个原因。所以需要外置 VAE 的覆盖来补救。

 

由于模型的种类不同、作用位置也不同，所以想要使用这些模型必须分清这些模型类别，并且正确的使用，模型才会生效。

 

2、模型的区分方法

 

如何区分这些模型对新手来说是一件非常困难的事情，因为他们都可以拥有一样的后缀名。

 

这里感谢 秋葉aaaki 提供的模型种类检测工具 ，在本地将模型文件拖入即可识别。

 

3、模型后缀名详解

 

目前，常见的 AI绘画标准模型后缀名有如下几种：

• ckpt
• pt
• pth

  这三种是 pytorch（深度学习框架）的标准模型格式，由于使用了 Pickle，会有一定的安全风险 。

 

• safetensors：新型的模型格式 。正如同名字：safe，为了解决前面几种模型的安全风险而出现的，safetensors 格式与 pytorch 的模型可以通过工具进行任意转换，只是保存数据的方式不同，内容数据没有任何区别。

   

注意：safetensors模型需要 webui 更新到2022年12月底以后的版本才能用。

 

4、常见模型安装及使用方法

 

（1）、大模型安装及使用

大模型，常见格式为 ckpt，顾名思义，就是大。大小在GB级别，常见有 2G、4G、7G模型，模型大小不代表模型质量。

 

安装方法：放在Stable-diffusion文件夹内。

\sd-webui-aki-v4.2\models\Stable-diffusion

 

如图：

使用方法：

 

第一步，在 webui 左上角选择对应的模型

 

 

第二步，手动选择vae并应用保存

 

前面也说到，部分合并出来的大模型VAE烂了，画面会发灰，因此需要去设置中手动选择vae并应用保存。

 

 

（2）、Embedding (Textual inversion)模型安装及使用

 

embedding 模型，常见格式为 pt、png图片、webp图片，大小一般在 KB 级别。

 

例如：

 

安装方法：

放在 embeddings 这个文件夹里面

\sd-webui-aki-v4.2\embeddings

 

使用方法：

生成图片的时候需要带上文件名作为 tag。

例如，上面这张图里面的 shiratama_at_2-3000.pt 这个模型，使用的时候就需要带上这个tag：shiratama_at_2-3000

 

(3)、Hypernetwork安装及使用

 

常见格式为 pt，大小一般在几十兆到几百兆不等，由于这种模型可以自定义的参数非常多，也有的 Hypernetwork 模型可以达到 GB 级别。

 

例如：

 

安装方法：放在hypernetworks 文件夹内。

\sd-webui-aki-v4.2\models\hypernetworks

 

 

使用方法：

第一步，点击生成下方的第三个按钮

第二步，选择hypernetworks 标签页

 

如图所示

 

（4）、LoRA模型安装及使用

 

常见格式为 pt、ckpt，大小一般在8mb~144mb不等。

 

安装方法：模型需要放在 Lora 文件夹。

\sd-webui-aki-v4.2\models\Lora

 

 

使用方法：

第一步，点击生成下方的第三个按钮

第二步，选择Lora 标签页

 

如图：

 

第三步，点击一个模型以后会向提示词列表添加类似这么一个tag， 也可以直接用这个tag调用lora模型。

<lora:模型名:权重> 

 

 

（5）、VAE 模型安装及使用

 

常见格式为 .pt ，如图：

 

安装方法：模型需要放在 VAE 文件夹。

\sd-webui-aki-v4.2\models\VAE

 

模型放置完毕后，在设置页面进行如下设置，并重启。

 

 

如果没有sd_vae 选项，则需要补充上。

添加在 sd_model_checkpoint 之后，语法如下：

,sd_vae

 

 

好，由于篇幅原因，模型的安装和使用就介绍到这里。

 

大家都知道，要用Stable Diffusion画出漂亮的图片，首先得选好模型。

 

目前，模型数量最多的两个网站是civitai 和huggingface。

civitai又称c站，有非常多精彩纷呈的模型，有了这些模型，我们分分钟就可以变成绘画大师，用AI画出各种我们想要的效果。

我们这里就以 civitai 站下载模型进行安装为例，进行详细说明。

 

二、模型的下载及选择方法

 

 

1、直接搜索想要的模型

最上面是搜索框，我们可以直接通过关键词来搜索想要的模型。

 

 

 

2、按照菜单分类选择模型

点击左上角菜单，可以看到这里是按照 以下几项来分类的：

• 最高评价HIGHEST RATED
• 最多下载MOST DOWNLOADED
• 点赞最多MOST LIKED
• 讨论最多MOST DISCuSSED
• 最新上传NEWEST。

 

 

3、按照时间排序来选模型

 

点击右上角，可以按照时间排序来选模型：最近一周、最近一月、所有时间的。

 

 

4、按照模型类型、Stable Diffusion版本选择模型

 

 

Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0 768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等版本。

 

注意:

• 通常来说版本越高，效果越好。
• 目前比较流行的还是1.5版本，1.5之前的版本没啥限制，可以自由出各种图片。
• 2.0以上版本提供了一个 图像无损放大模型：Upscaler Diffusion ，可以将生成图像的分辨率提高 4 倍，适合出高清大图。2.0加入了一些限制，不能出一些不可描述的图片。

   

所以，具体使用哪个版本，还是要根据自己的需求来选择。

 

挑到喜欢的模型后，怎么安装模型呢？

 

三、模型的下载安装实操

 

接下来我们来说明一下安装实操步骤。

 

1、下载模型文件，在c站 搜搜到喜欢的模型，并下载

 

2、下载成功后，我们会获得模型文件

 

 

3、将模型文件使用模型种类检测工具 获取模型的种类

 

如图：

 

将模型文件拖入该工具后，会获得以下信息：

文件名
dunhuangV3.safetensors

文件大小
144.11 MB

模型种类
LoRA 模型

模型用法
放入 models/Lora 文件夹后，在 webui 中，“生成” 按钮的下方选择 🎴 按钮，找到 Lora 选项卡点击使用。

Info
{
ss_batch_size_per_device:"6"
ss_bucket_info:{}
ss_bucket_no_upscale:"True"
ss_cache_latents:"True"
ss_caption_dropout_every_n_epochs:"0"
ss_caption_dropout_rate:"0.0"
ss_caption_tag_dropout_rate:"0.0"
ss_clip_skip:"None"
ss_color_aug:"False"
ss_dataset_dirs:{}
ss_enable_bucket:"True"
ss_epoch:"10"
ss_face_crop_aug_range:"None"
ss_flip_aug:"False"
ss_full_fp16:"False"
ss_gradient_accumulation_steps:"1"
ss_gradient_checkpointing:"False"
ss_keep_tokens:"0"
ss_learning_rate:"0.0001"
ss_lowram:"False"
ss_lr_scheduler:"cosine_with_restarts"
ss_lr_warmup_steps:"0"
ss_max_bucket_reso:"1024"
ss_max_grad_norm:"1.0"
ss_max_token_length:"None"
ss_max_train_steps:"6750"
ss_min_bucket_reso:"256"
ss_min_snr_gamma:"None"
ss_mixed_precision:"fp16"
ss_network_alpha:"64.0"
ss_network_dim:"128"
ss_network_module:"networks.lora"
ss_new_sd_model_hash:"e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7"
ss_noise_offset:"None"
ss_num_batches_per_epoch:"675"
ss_num_epochs:"10"
ss_num_reg_images:"0"
ss_num_train_images:"4050"
ss_optimizer:"bitsandbytes.optim.adamw.AdamW8bit"
ss_output_name:"dunhuang_20230625021029"
ss_prior_loss_weight:"1.0"
ss_random_crop:"False"
ss_reg_dataset_dirs:"{}"
ss_resolution:"(512, 768)"
ss_sd_model_hash:"1d5a534e"
ss_sd_model_name:"majicmix_realv6_fp16.safetensors"
ss_sd_scripts_commit_hash:"(unknown)"
ss_seed:"2361018997"
ss_session_id:"801586992"
ss_shuffle_caption:"False"
ss_tag_frequency:{}
ss_text_encoder_lr:"1e-05"
ss_total_batch_size:"6"
ss_training_comment:"None"
ss_training_finished_at:"1687645290.3126323"
ss_training_started_at:"1687630234.599286"
ss_unet_lr:"0.0001"
ss_v2:"False"
sshs_legacy_hash:"14dab82f"
sshs_model_hash:"f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa"
}

 

根据工具输出信息可知， dunhuangV3.safetensors 模型的模型种类是LoRA 模型。

 

4 、将模型dunhuangV3.safetensors 放入 models/Lora 文件夹。

5、在 webui 中，“生成” 按钮的下方选择 🎴 按钮，找到 Lora 选项卡点击使用。

好，今天的内容就到此结束，我们来总结一下。

今天主要给大家分享了 Stable Diffusion的模型种类说明，以及常见模型的下载、安装、使用方法， 没理解到的朋友，请收藏起来多看几遍。

关注我，后续继续分享sd更多干货 ， 敬请期待。