扩散模型Stable-Diffusion WebUI搭配Novel AI及其相关模型食用指南

发表于 2022-11-10 更新于 2023-02-01 分类于技术阅读次数：

本文字数： 5.7k 阅读时长 ≈ 5 分钟

随着AI绘图这一话题热潮迭起，Stable Diffusion 的受欢迎程度继续爆炸式增长。作为模型公开且效果极佳的扩散模型Stable Diffusion是CompVis研究团队2022年8月底发布的。该模型使用 LAION 5B 数据集的子集进行训练，包括用于初始训练的高分辨率子集和用于后续各种开发者提升"美学"孕育出来的的各种针对性模型。本文将分享 Stable Diffusion Web UI 的搭建步骤及相关模型加载设置，该模块主要是基于stable diffusion的基础应用，利用gradio模块搭建出交互程序，用户可以在低代码 GUI 中立即访问 Stable Diffusion。

简介

可以说，其中最受欢迎和经常更新的是 AUTOMATIC111 的 Stable Diffusion Web UI 搭建的工作。除了 txt2img、img2img等 Stable Diffusion 的基本功能外，Web UI 还包含许多模型融合改进、图片质量修复等许多附加升级——所有这些都可以通过易于使用的方式访问Web 应用程序图形用户界面。

步骤

基础开发环境搭建

CUDA

首先需要安装CUDA和Anaconda，首先打开NVIDIA控制面板-管理3D设置，在面板里查看系统信息，查看自己电脑独立显卡的驱动版本。而后根据驱动版本前往NVIDIA Docs官网查看自己电脑所能支持的CUDA版本号上限，然后前往CUDA安装地址下载对应版本的exe文件即可。
安装好之后，需要配置Windows电脑的环境变量，即电脑属性-高级系统设置-环境变量-Path-编辑，新建CUDA（NVSMI）路径到Path中即可，下面分享下我的计算机中配置的一些环境变量。

C:\Users\DOG\AppData\Local\Microsoft\WindowsApps
E:\SoftwareSpace\Anaconda3_Space\Library\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\nvml
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\libnvvp
E:\SoftwareSpace\Anaconda3_Space
E:\SoftwareSpace\Anaconda3_Space\Scripts
C:\Python311\Scripts\
C:\Python311\
C:\Program Files (x86)\Common Files\Oracle\Java\javapath

而后你可以在CMD中输入nvidia-smi指令来测试并查看显卡当前的使用情况了，至此，CUDA配置完成。

Andconda 3

Andconda是Python的包管理器和环境管理器，官网下载的慢的话可以选择访问清华开源软件镜像网站下载，而后配置相关环境变量操作步骤如上。

1 2	E:\SoftwareSpace\Anaconda3_Space E:\SoftwareSpace\Anaconda3_Space\Scripts

而后在CMD中运行conda env list即可查看到我们当前的虚拟环境了。安装好后，我们可以更换conda的默认源为清华软件源。
TUNA 还提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch等，查看完整列表，更多第三方源可以前往校园网联合镜像站查看）的镜像，各系统都可以通过修改用户目录下的 .condarc 文件来使用 TUNA 镜像源。Windows 用户无法直接创建名为 .condarc 的文件，可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。
注：由于更新过快难以同步，TUNA 不同步pytorch-nightly, pytorch-nightly-cpu, ignite-nightly这三个包。

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  # 如果需要使用其他第三方源（参考上方完整列表）
  # 例如 conda install -c pytorch-test，则可以添加
  #pytorch-test: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

即可添加 Anaconda Python 免费仓库。运行 conda clean -i 清除索引缓存，保证用的是镜像站提供的索引。运行 conda create -n myenv numpy 测试一下吧。
Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。Miniconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 下载。

算法部署与运行

我们选择一个目录，下载相关代码文件。

1	git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

然后我们创建一个新的Anaconda虚拟环境，用于后续的算法环境搭建。其中后面的 python==3.10.6 是预先安装好的版本，安装 3.10.6 是因为开源代码仓库说明的是推荐 3.10.6。。

1	conda create -n novelai python==3.10.6

激活 conda 虚拟环境：

1	conda activate novelai

而后根据显卡驱动安装 GPU 版本的 Pytorch：直接使用官网的命令安装，打开网页，命令如下。

1	conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

进入项目根目录（非conda虚拟环境目录），然后安装作者注明的第三方依赖库。

1	python -m pip install -r requirements.txt

随后下载模型文件（权重文件01），NovelAI 的模型训练文件网盘分享链接。将模型文件解压缩放到 models 目录(E:\CUDA_Project\stable-diffusion-webui\models\Stable-diffusion)下。

（权重文件02操作步骤：拷贝所下载的权重文件文件夹中的models中的全部文件，到项目的models目录下，然后再将.cache文件下的所有文件拷贝至电脑用户目录下的.cache文件夹中（C:\Users\DOG.cache\huggingface\transformers）。最后将repositories里面的文件，全部拷贝至对应的目录中）

运行 Web UI，第一次运行，这个过程中也会下载一些依赖库和权重文件，耐心等待即可。

1	python launch.py

看到 local URL 表明开启完成，直接打开这个本地连接（http://127.0.0.1:7860/）。

其实高级玩法还有很多，比如使用 Textual Inversion 用某个人的图片集（30张左右），训练一个小模型，记录这个特征，然后进行多特征融合（写在 Prompt 描述里）。还可以使用 img2img 进行风格、背景的替换等。这些都可以使用 Stable Diffusion web UI 实现。

风险提示：不要将 Stable Diffusion web UI 服务部署到公网服务器上，项目有漏洞，机器会被劫持；不建议使用 naifu 版本，封装较多，容易被动手脚。建议使用开源的 Stable Diffusion web UI。不要随便下载网络上的其它开源模型，有反序列化攻击风险。

其他命令

nvidia-smi
conda env list
conda upgrade --all
conda config --set show_channel_urls yes
conda create -n dogui jupyter notebook cudnn

conda remove -n novelai —all
conda activate novelai
conda deactivate
conda config —show-sources

补充内容

相关参考文档及视频

#AI杀疯了！2022年保姆级AI算法教程，新年必玩！
https://www.bilibili.com/video/BV14R4y1g7qs/
#AI杀疯了！2021年高能的AI算法，超乎想象！
https://www.bilibili.com/video/BV1RF411B7hT/
##AI 杀疯了，NovelAI开源教程
https://zhuanlan.zhihu.com/p/575353301
##AI作画保姆级教程来了！逆天，太强了！(附训练embedding模型)
https://www.bilibili.com/video/BV1q84y1i78L/

#NovelAI信息并联计划.
https://www.kdocs.cn/l/cre0TwbMkdx3
#NovelAI资源整合
https://www.kdocs.cn/l/cvg8ccOGj5sq
#元素法典——Novel AI 元素魔法全收录
https://docs.qq.com/doc/DWHl3am5Zb05QbGVs
#元素法典第一点五卷——Novel AI 元素魔法全收录
https://docs.qq.com/doc/DWGh4QnZBVlJYRkly
#Novel AI 详细搭建教程
https://xiaomcserver.top/archives/29/
#Novel AI搭建教程
https://www.bilibili.com/read/cv19122535

#AutoDL使用stable-diffusion-webui部署NovelAi/Stable Diffusion1.4 /1.5保姆级教程、命令解释、原理讲解(colab、windows、Linux )
https://zhuanlan.zhihu.com/p/574200991
#模型应用---使用Stable Diffusion UI手册
https://zhuanlan.zhihu.com/p/570954565
#如何评价AI绘画网站NovelAI？
https://www.zhihu.com/question/558019952/answer/2710009035

#Python 开源项目之「自学编程之路」
https://github.com/Jack-Cherish/PythonPark

#Stable Diffusion Library
https://github.com/boringcrypto/boringfusion
#Model_Database
https://upscale.wiki/wiki/Model_Database
#Stable Diffusion Models
https://rentry.co/sdmodels

或者

#NovelAI hypernetwork 自训练教程
https://zhuanlan.zhihu.com/p/576041621
#使用stable-diffusion-webui部署NovelAi/Stable Diffusion1.4 /1.5保姆级教程、命令解释、原理讲解(colab、windows、Linux )
https://zhuanlan.zhihu.com/p/574200991
#庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总
https://zhuanlan.zhihu.com/p/579538165
https://github.com/crosstyan/dreambooth-scripts-for-autodl
#stable-diffusion-webui+NovelAI+Python+Git+CUDA本地部署（2G显存，使用cpu运行）
https://www.cnblogs.com/zhongbenbayun/p/16879362.html