Controlnet简介
ControlNet是一种用于控制图像生成过程的深度学习模型。它可以与现有的图像生成模型(例如Stable Diffusion)结合使用,以提高生成的图像质量和一致性。ControlNet的工作原理是通过预测图像生成过程中的中间状态来控制最终的输出。
具体来说,ControlNet会对图像生成过程中的每个步骤进行分析,并预测出下一阶段的状态。然后,它会根据这些预测结果对图像生成过程进行调整,以确保最终输出符合预期。
通俗的理解就是ControlNet控制生成的方法,就像是为SD添加草稿的生成模式,不同的模型就是不同的草稿类型
Controlnet组成
1.预处理器
每个模型需要一个独特的模式图,预处理器的作用就是把上传参考图线转变为我们需要的模式图
2.模型
通过预处理器处理图片结构,模型接手图片结构并作为条件参与绘制
- diffusers(抱抱脸制作的模型)
- kohya(制作动画的模型)
- sai(SD官方制作的模型)
- t2i(腾讯制作的模型)
- full、mid、small模型的大小
Controlnet模型简介
线条约束(5种)
- Canny(硬边缘检测)
- SoftEdge(软边缘检测)
- M-LSD(直线检测)
- Lineart(艺术线稿)
- Scribbles(涂鸦)
深度约束(3种)
- Dtpth(深度图)
- Normal Map(法线贴图)
- Segmentation(语义分割)
其他约束
- OpenPose(姿态)
- Shuffle(随机化)
- T2I-Adapter(指令指导)
- Inpaint(修复/局部重绘)
- Tile(分块)
- Reference(图片参考)
- Recolor(重新上色)