一、什么是Stable Diffusion:稳定扩散模型
Stable Diffusion(稳定扩散模型)是 Stability AI、CompVis、Runway 等团队于 2022 年开源发布的文本到图像扩散模型。其核心创新是把扩散过程从像素空间搬到「潜在空间」(Latent Space),通过 VAE 编码器把图像压缩到低维潜在表示,再在潜在空间做扩散去噪,最后用 VAE 解码器重建像素。这大幅降低了训练与推理的显存需求,使普通消费级 GPU(单卡 8GB 显存)也能生成 512×512 高质量图像。Stable Diffusion 是 AIGC 时代的标志性开源模型,催生了 CivitAI、Hugging Face、ControlNet、LoRA 等庞大生态,是文生图、图生图、AI 绘画等创意产业的事实标准。

二、原理
1. 潜在空间编码:用 VAE Encoder 把 512×512 图像压缩到 64×64 潜在表示 → 2. 文本条件:用 CLIP 文本编码器把文本提示(prompt)编码为条件向量 → 3. 前向扩散:在潜在空间逐步加入高斯噪声,经过 T 步把潜在表示变为纯噪声 → 4. 反向去噪:U-Net 在每一步根据当前噪声潜在与 CLIP 文本条件预测噪声残差,逐步去噪;跨注意力机制把文本条件注入 U-Net → 5. 潜在解码:去噪完成后用 VAE Decoder 把潜在表示解码回像素空间,得到 512×512 图像 → 6. 调度采样:用 DDIM、DPM++ 等采样器在 20-50 步内完成高质量生成
三、信息卡片
| 中文名 | 稳定扩散模型 |
| 英文名 | Stable Diffusion |
| 缩写 | SD |
| 别名 | 稳定扩散、SD 1.5、SDXL、SD3、潜在扩散模型 |
| 提出者 | Stability AI + CompVis 团队(Robin Rombach、Andreas Blattmann 等)+ Runway |
| 提出时间 | 2022 年 8 月(Stable Diffusion 1.x 开源) |
| 所属类别 | AI 技术 > 多模态 > 文生图生成模型 |
| 核心技术 | 潜在扩散模型(LDM)、CLIP 文本条件、U-Net 去噪网络、VAE 编解码、跨注意力机制 |
| 主要应用 | AI 绘画、文生图、图生图、图像修复与超分、视频生成、3D 资产生成、AIGC 内容创作 |
四、历史时间线
2015-2020 年:扩散概率模型(DDPM、Denoising Diffusion Probabilistic Models)由 Ho 等人奠基,在图像生成上超越 GAN
- 2020-2021 年:OpenAI 发布 DALL·E、GLIDE 等文生图扩散模型,但未开源
- 2021 年 12 月:CompVis 团队发布 Latent Diffusion Models(LDM)论文,首次把扩散过程搬到潜在空间
- 2022 年 8 月:Stability AI 联合 CompVis、Runway 发布 Stable Diffusion 1.x 并完全开源,单卡消费级 GPU 即可运行
- 2022 年下半年:CivitAI、ControlNet、LoRA、Textual Inversion 等社区生态爆发,Stable Diffusion 成为 AIGC 现象级模型
- 2023 年 7 月:SDXL 发布,把模型规模与图像分辨率推到新高度;2024 年 Stable Diffusion 3 引入 DiT(Diffusion Transformer)
- 2024-2025 年:Stable Diffusion 与视频扩散(Sora、Wan、Veo)融合,生态延伸至 3D、音频等多模态生成
五、分类
按版本:SD 1.4/1.5(基础)vs SD 2.x(更强 CLIP 与高分辨率)vs SDXL(1024px,3B 参数)vs SD3(DiT 架构,多模态 DiT)
- 按扩散空间:像素空间扩散(DDPM)vs 潜在空间扩散(LDM,Stable Diffusion)vs 级联扩散(Cascade)
- 按文本条件:CLIP 文本编码(主流)vs T5 文本编码(SD3 引入)vs 多语言文本条件
- 按采样器:DDIM、PLMS、DPM++、Euler 等,每种采样步数与质量不同
- 按微调方法:LoRA、Textual Inversion、DreamBooth、ControlNet、IP-Adapter 等
六、应用场景
AI 绘画与设计:Midjourney 风格的文生图是 Stable Diffusion 最广为人知的应用,渗透广告、电商、游戏美术
- 数字人与角色生成:数字人、AIGC · 人工智能生成内容 等场景大量使用 SD 系列模型生成角色形象
- 图像修复与超分辨率:SD 的 inpainting、img2img 能力广泛用于老照片修复、商品图精修
- 视频与 3D 生成:Sora、Wan、CogVideoX 等视频扩散模型都以 SD 生态为基础;3D 资产生成也建立在 SD 之上
- 个性化定制:通过 LoRA、DreamBooth 等微调技术,可低成本定制特定画风、人物、产品
七、优缺点
- 优点:
- 开源生态完善:从模型权重、训练代码到 ComfyUI、Automatic1111 等工具链完全开源,是 AIGC 创作的事实标准
- 硬件门槛低:潜在扩散 + 优化使其能在消费级 GPU(8GB 显存)上运行,远低于 DALL·E 2 的云端依赖
- 可控性强:ControlNet、LoRA、IP-Adapter 等微调与控制技术构成完整生态,支持姿态、深度、风格精确控制
- 商业生态丰富:CivitAI、Hugging Face、Stability AI API 等形成完整产业链
- 缺点:
- 图像质量仍逊于闭源:相比 Midjourney v6、DALL·E 3、Imagen 3 等闭源模型,SD 1.5/SDXL 在默认 prompt 下质量仍有差距
- 显存与速度挑战:SDXL 与 SD3 在消费级 GPU 上仍较吃力,限制大规模商用部署
- 内容安全风险:开源模型可能被用于生成违规内容,需要 AI 安全护栏 Guardrails 等机制防护
- 训练数据合规问题:Stable Diffusion 训练数据来源引发版权争议,是 AIGC 治理的重要议题
八、常见误区
Stable Diffusion = Diffusion(错:Stable Diffusion 特指 LDM 架构的文生图开源模型;DDPM、Imagen 等都是其他扩散模型)
- Stable Diffusion 只能文生图(错:图生图、修复、超分、ControlNet 姿态控制、视频生成都是其能力)
- Stable Diffusion 完全免费(错:模型开源但商业用途需遵守相应许可证,且高级功能多通过订阅/Stability AI API 付费)
- Stable Diffusion 已过时(错:SD3、SDXL、CogVideoX 等延续版本仍是 AIGC 创作主流,ComfyUI + SD 生态日活极高)
九、关联概念
父概念:AIGC · 人工智能生成内容、生成式AI、扩散模型、扩散模型 · Diffusion Model
- 子概念:扩散模型、扩散模型 · Diffusion Model、深度学习 Deep Learning、LoRA微调
- 兄弟概念:扩散模型 · Diffusion Model、扩散概率模型 DDPM、GAN 生成对抗网络、生成式AI
- 对比概念:Stable Diffusion vs Midjourney、Stable Diffusion vs DALL·E、潜在扩散 vs 像素扩散、Stable Diffusion vs Imagen
- 应用相关:AIGC · 人工智能生成内容、生成式AI、数字人、生成式 3D 资产