《AI创意绘画与视频制作：基于Stable Diffusion和ControlNet》将带领读者探索AI绘画和短视频创作的奇妙世界。本书详细介绍Stable Diffusion的基本概念、原理及其主要功能的使用，阐述如何使用提示词生成创意无限的图像，如何使用ControlNet插件对图像进行精细调整，如何使用Stable Diffusion结合各类插件和第三方应用进行视频制作。书中精选了大量案例，介绍了AI工具文生图、图生图的创作技巧，以及当前主流短视频平台中使用Stable Diffusion制作短视频所需的热门技术工具，如Deforum、LoopBack Wave、DepthMap、TemporalKit和EbSynth等。 《AI创意绘画与视频制作：基于Stable Diffusion和ControlNet》内容丰富，理论与实践并重，既适合初学者作为自学参考书，也适合设计师、数字媒体从业者作为参考手册，同时还可以作为高等院校数字媒体等相关专业的教学用书。

本书针对Stable Diffusion的使用给出了详细的说明，并通过多种艺术风格的案例介绍了软件的使用技巧，并对提示词的使用，给出了大量案例。

书中对于制作高品质、高精度图像也给出了很多可供参考的方案 ，详细介绍了ControlNET插件的原理及其在精细化图像如手部绘制等方面的运用。

介绍了使用Deforum、LoopBack和FILM制作动画与短视频的技巧，以及使用Depthap、EbSynth、TemporalKit生成丝滑动画的多种技巧。

AI创意绘画一书结合了作者长期研究虚拟人和AI绘画技术的成果 ，从原理、技术与创意三个方面介绍了AI绘画与短视频制作的 技术要点，对于希望运用AI创作的读者是一本极好的入门教程 。

以ChatGPT为代表的AIGC（人工智能制作内容）技术的兴起，掀起了大众学习AI技术和工具的热潮，除了ChatGPT和GPT-4大型语言模型应用火热之外，通过AI自动生成各种风格的图像的技术也进入人们的视野，这其中包含了Midjourney和Stable Diffusion等。传统的数字艺术中，如果我们要制作人物动画和角色图像，需要做草图，通过3D建模工具进行建模并赋予贴图，同时还需要引入光源和渲染模式，制作工序相当复杂而且耗时较长。然而，AI绘图工具彻底改变了这一切，通过提示词（或者在参考图的引导下）即可迅速生成需要的
图像。
基于开源方式的Stable Diffusion由于灵活度和自由度更高，使其得到了广泛的使用，大量基于Stable Diffusion制作的精美图像和视频也出现在各个主流短视频平台上。遗憾的是，市面上系统介绍Stable Diffusion与CoutrolNet结合进行绘画与视频制作的书很少，网络上的知识又呈现碎片化，想要系统掌握Stable Diffusion和ControlNet的应用比较困难。基于此，本书从基础知识着手，详细介绍如何进行工具的安装，如何使用文生图和图生图模块生成相关图像，如何使用提示词，如何结合ControlNet，以及如何使用Deforum等插件进行AI生成视频。总的来说，这是一本端到端关于Stable Diffusion的技术大全，如果读者想从事AI绘画方面的工作或正向着成为AI艺术家而努力，那么阅读这本书就够了。
本书主要包含3个部分，首先是基础知识部分，从人工智能的发展讲述生成式AI的发展历程，以及AIGC的技术栈和当前热门产品，让读者对AI有一个清晰的认识。第二部分介绍Stable Diffusion的主要功能，以及如何使用ControlNet插件对图像进行精细调整，同时结合大量热门技术和方法，详尽介绍如何生成当前主流短视频平台的AI图像。最后一部分介绍如何使用Stable Diffusion结合各类插件和第三方应用进行视频制作，使得非艺术科班的读者也有机会做出和大师媲美的作品。
技术的发展速度超出想象，为了写作本书，笔者收集了大量的信息，以及研究并实践了最先进的AI绘画技术和热门方案，尽力为读者提供翔实的介绍和详尽的操作步骤说明，以期待更多的读者加入AI绘画的队伍中，共同促进AI绘画技术和方案的成熟。
由于编者水平有限，书中难免存在不当之处，敬请广大读者和专家批评指正。
在这里特别感谢王金柱编辑给予的帮助和指导，以及妻子姚女士对我的鼓励和支持。

马健健
2023年7月

马健健，上海交通大学程硕士，先后供职于平安、惠普、美国强 生等国内外知名公司，担任软件架构和数据分析技术经理，拥有 十余年丰富的软件开发架构和技术管理经验。目前就职于上海某 知名外资公司担任数据平台技术经理，主要负责大数据处理、机 器学习应用和数据挖掘方面的研究和实施工作，长期研究AI绘画 与虚拟人技术，制作了大量AI绘画和视频作品，出版《虚拟偶像 AI实现》一书。

目录

第1章　概述1

1.1　为什么使用Stable Diffusion1

1.2　AI图像生成模型介绍2

1.3　从小白到AI艺术家4

1.4　总结4

1.5　练习4

第2章　人工智能与图像生成技术5

2.1　人工智能的发展历程5

2.2　图像生成技术的基本原理6

2.2.1　深度神经网络图像生成技术6

2.2.2　Stable Diffusion的关键组件7

2.3　深度学习框架PyTorch基础9

2.4　AIGC技术框架介绍10

2.4.1　GAN对抗网络10

2.4.2　VAE变分自编码器12

2.4.3　NeRF辐射神经网络12

2.4.4　CLIP对比性语言－图像预训练模型12

2.4.5　CodeFormer人脸清晰化模型13

2.5　总结14

2.6　练习14

第3章　Stable Diffusion技术15

3.1　Stable Diffusion的基本概念和原理15

3.2　安装Stable Diffusion Web UI18

3.3　Stable Diffusion的界面24

3.4　Stable Difussion的模型25

3.5　生成多个角色同框28

3.6　Inpaint绘制34

3.7　Outpaint绘制37

3.8　修复面部细节39

3.9　总结42

3.10　练习42

第4章　ControlNet的使用43

4.1　ControlNet的基本概念43

4.2　ControlNet的安装44

4.3　ControlNet的使用方法45

4.4　ControlNet中的模型50

4.4.1　案例一：不同模型下的效果51

4.4.2　案例二：不同模型下的效果56

4.4.3　ControlNet中的Inpaint63

4.5　总结65

4.6　练习65

第5章　结合Stable Diffusion和ControlNet进行AI绘画创作66

5.1　Stable Diffusion和ControlNet结合使用的优势66

5.2　使用ControlNet 生成不同角度的图像67

5.3　ControlNet和Latent Couple结合使用69

5.4　ControlNet生成线稿图76

5.5　使用LoRA进行高阶参数微调生成精细图像79

5.6　ControlNet对光线的控制 84

5.7　Depth Library修复手部88

5.8　总结93

5.9　练习93

第6章　Prompt提示词设计94

6.1　什么是Prompt94

6.2　Prompt的基本构成97

6.2.1　主语97

6.2.2　修饰语104

6.3　正向提示词和反向提示词 127

6.4　人物服装类提示词135

6.5　角色铠甲类提示词148

6.6　动物图像的生成154

6.6.1　老虎154

6.6.2　鸟类156

6.6.3　狮子158

6.6.4　凤凰159

6.6.5　熊猫160

6.7　参数的使用162

6.7.1　CFG Scale（提示词引导系数）162

6.7.2　Sampling method（采样方法）163

6.7.3　Seed（种子）166

6.7.4　Sampling steps（稳定扩散）168

6.7.5　 分辨率169

6.8　总结170

6.9　练习170

第7章　Stable Diffusion与ControlNet绘画实例171

7.1　通过ControlNet生成漫画171

7.2　通过Stable Diffusion和ControlNet绘制360全景图像177

7.3　生成QR二维码182

7.4　生成卡通风格的小屋184

7.5　总结186

7.6　练习186

第8章　动画的制作187

8.1　使用Deforum插件制作动画 188

8.1.1　什么是Deforum188

8.1.2　安装Deforum188

8.1.3　相关参数介绍189

8.1.4　Deforum里的数学公式192

8.1.5　Deforum制作无限循环动画193

8.2　使用LoopBack Wave来制作丝滑动画200

8.2.1　什么是LoopBack Wave200

8.2.2　安装LoopBack Wave200

8.2.3　LoopBack Wave脚本的使用200

8.3　使用FILM对动画进行补帧204

8.3.1　什么是FILM204

8.3.2　安装FILM 206

8.3.3　FILM工具的使用208

8.4　使用DepthMap生成3D绘画实现动画效果209

8.4.1　什么是DepthMap209

8.4.2　安装DepthMap209

8.4.3　相关参数介绍210

8.4.4　DepthMap插件的使用212

8.5　使用EbSynth 和TemporalKit实现高质量丝滑效果213

8.5.1　安装TemporKit213

8.5.2　使用TemporKit生成关键帧214

8.5.3　使用EbSynth生成风格化图像序列217

8.6　总结 220

8.7　练习220