stable diffusion 1.5大模型炼制详细教程,几块钱即可炼制大模型

前言
之前已经讲过,SD1.训练过程,基本说的比较清楚了,有兴趣可以去看看,下面我将讲解一下SD1.5大模型的炼制 。

SD1.:
是一种定制个性化的扩散模型的方法 。仅需少量训练数据就可以获得极佳的效果 。基于研发,使用时只需将模型导出为 ckpt,然后就可以被加载到各种 UI 中 。
然而,的模型和预训练的权重都不可用 。所以最初的并不适用于稳定扩散 。但后面实现了这一功能,并且完全适配了。
模型炼制 数据准备
和LORA一样,裁剪成的大小后打tag,数据处理参考之前文章,不赘述了,数据的多少根据你的任务来(真人,二次元,画风),先别急,最好听我把流程讲完,你再准备数据开始炼制 。
二次元:20-50(建议抠图填白,脸部训练影响不大,不过自己可以试试,说不定效果更好)
真人:50-100张(建议抠图填白,加强脸部训练)
画风:1000往上
这只是参考区间,如果你的图片质量都是一级棒 。那当然是越多越好,别强行为了数量把一些一般照片放进去,可能数量上去了,反而训练的很烂 。
假设我来炼制一个真人模型,这是我的数据集,只是打个样
抠图后,赛博丹炉下有两个文件夹,分别是裁剪后的人物和脸型
之后把你的底膜准备好,与你图片炼制风格相近的,之后一起压缩上传百度网盘,这样是为了下载方便,因为你可以新建一个文件夹在和百度云盘共享一个空间,如果手动拖动文件到,那真是速度很慢;特别是大模型2个G,这个教程请看文章,这个不难,中文教程说的很明白了,一步步按他说的弄 。
炼制
直接搜素就出来了,立即创建
镜像名:Akegarasu/dreambooth-autodl/dreambooth-autodl:v3

stable diffusion 1.5大模型炼制详细教程,几块钱即可炼制大模型

文章插图
打开终端,把系统盘的-aki移动到数据盘中,因为系统只有30G,数据盘有50G,
【stable diffusion 1.5大模型炼制详细教程,几块钱即可炼制大模型】mv/root/dreambooth-aki/ /root/autodl-tmp/ipython kernel install --user --name=diffusers下载diffusers内核等下测试用
点击ipynb文件训练脚本
直接方式:简单但上传速度一般
文件放置路径:模型文件直接放到model-sd,数据集图片直接放到-,手动拖动即可
间接方式:需要建立共享空间但上传速度快
下载完文件在-tmp路径下
强调:最好都是压缩zip上传,解压指令如下
unzip /root/autodl-tmp/dreambooth-aki/文件名.zip
移动文件
数据集移动mv /root/autodl-tmp/dreambooth-aki/文件名/* /root/autodl-tmp/dreambooth-aki/instance-images/模型移动mv /root/autodl-tmp/dreambooth-aki/模型名 /root/autodl-tmp/dreambooth-aki/model-sd/
mv是move意思,把文件从源地址移动到目的地址
数据准备完毕
训练参数
-tmp/-aki/-aki.ipynb
其实秋叶大佬讲的挺清楚了,基本改一下文件路径即可,直接一步步运行,不管我还是一步步讲一下
定义了一些模型转换文件和全局变量等等,直接Ctrl enter运行,
秋叶已经转换好了一个动漫底膜,在model-hf下,之前我们已经把真人底模放在了model-sd中,把model.改成自己底模的名字,运行后自动覆盖model-hf下文件
stable diffusion 1.5大模型炼制详细教程,几块钱即可炼制大模型

文章插图
可以看到分完后,模型被拆解为文本编码器,分词器,unet,vae
改成一个自己命名的tag(但是不存在的英文单词),就像触发词一样,这样进行训练文本编码器会把这个词和你训练的图片画风挂钩,你的自定义tag更容易生成你训练图片的画风