Stable Diffusion:稳定扩散模型

StableDiffusion(稳定扩散模型)是StabilityAI、CompVis、Runway等团队于2022年开源发布的文本到图像扩散模型。

一、什么是Stable Diffusion:稳定扩散模型

Stable Diffusion(稳定扩散模型)是 Stability AI、CompVis、Runway 等团队于 2022 年开源发布的文本到图像扩散模型。其核心创新是把扩散过程从像素空间搬到「潜在空间」(Latent Space),通过 VAE 编码器把图像压缩到低维潜在表示,再在潜在空间做扩散去噪,最后用 VAE 解码器重建像素。这大幅降低了训练与推理的显存需求,使普通消费级 GPU(单卡 8GB 显存)也能生成 512×512 高质量图像。Stable Diffusion 是 AIGC 时代的标志性开源模型,催生了 CivitAI、Hugging Face、ControlNet、LoRA 等庞大生态,是文生图、图生图、AI 绘画等创意产业的事实标准。

Stable Diffusion 万字长文详解稳定扩散模型_stable diffusion最新进展-CSDN博客

二、原理

1. 潜在空间编码:用 VAE Encoder 把 512×512 图像压缩到 64×64 潜在表示 → 2. 文本条件:用 CLIP 文本编码器把文本提示(prompt)编码为条件向量 → 3. 前向扩散:在潜在空间逐步加入高斯噪声,经过 T 步把潜在表示变为纯噪声 → 4. 反向去噪:U-Net 在每一步根据当前噪声潜在与 CLIP 文本条件预测噪声残差,逐步去噪;跨注意力机制把文本条件注入 U-Net → 5. 潜在解码:去噪完成后用 VAE Decoder 把潜在表示解码回像素空间,得到 512×512 图像 → 6. 调度采样:用 DDIM、DPM++ 等采样器在 20-50 步内完成高质量生成

三、信息卡片

中文名 稳定扩散模型
英文名 Stable Diffusion
缩写 SD
别名 稳定扩散、SD 1.5、SDXL、SD3、潜在扩散模型
提出者 Stability AI + CompVis 团队(Robin Rombach、Andreas Blattmann 等)+ Runway
提出时间 2022 年 8 月(Stable Diffusion 1.x 开源)
所属类别 AI 技术 > 多模态 > 文生图生成模型
核心技术 潜在扩散模型(LDM)、CLIP 文本条件、U-Net 去噪网络、VAE 编解码、跨注意力机制
主要应用 AI 绘画、文生图、图生图、图像修复与超分、视频生成、3D 资产生成、AIGC 内容创作

四、历史时间线

2015-2020 年:扩散概率模型(DDPM、Denoising Diffusion Probabilistic Models)由 Ho 等人奠基,在图像生成上超越 GAN

  • 2020-2021 年:OpenAI 发布 DALL·E、GLIDE 等文生图扩散模型,但未开源
  • 2021 年 12 月:CompVis 团队发布 Latent Diffusion Models(LDM)论文,首次把扩散过程搬到潜在空间
  • 2022 年 8 月:Stability AI 联合 CompVis、Runway 发布 Stable Diffusion 1.x 并完全开源,单卡消费级 GPU 即可运行
  • 2022 年下半年:CivitAI、ControlNet、LoRA、Textual Inversion 等社区生态爆发,Stable Diffusion 成为 AIGC 现象级模型
  • 2023 年 7 月:SDXL 发布,把模型规模与图像分辨率推到新高度;2024 年 Stable Diffusion 3 引入 DiT(Diffusion Transformer)
  • 2024-2025 年:Stable Diffusion 与视频扩散(Sora、Wan、Veo)融合,生态延伸至 3D、音频等多模态生成

五、分类

按版本:SD 1.4/1.5(基础)vs SD 2.x(更强 CLIP 与高分辨率)vs SDXL(1024px,3B 参数)vs SD3(DiT 架构,多模态 DiT)

  • 按扩散空间:像素空间扩散(DDPM)vs 潜在空间扩散(LDM,Stable Diffusion)vs 级联扩散(Cascade)
  • 按文本条件:CLIP 文本编码(主流)vs T5 文本编码(SD3 引入)vs 多语言文本条件
  • 按采样器:DDIM、PLMS、DPM++、Euler 等,每种采样步数与质量不同
  • 按微调方法:LoRA、Textual Inversion、DreamBooth、ControlNet、IP-Adapter 等

六、应用场景

AI 绘画与设计:Midjourney 风格的文生图是 Stable Diffusion 最广为人知的应用,渗透广告、电商、游戏美术

  • 数字人与角色生成:数字人、AIGC · 人工智能生成内容 等场景大量使用 SD 系列模型生成角色形象
  • 图像修复与超分辨率:SD 的 inpainting、img2img 能力广泛用于老照片修复、商品图精修
  • 视频与 3D 生成:Sora、Wan、CogVideoX 等视频扩散模型都以 SD 生态为基础;3D 资产生成也建立在 SD 之上
  • 个性化定制:通过 LoRA、DreamBooth 等微调技术,可低成本定制特定画风、人物、产品

七、优缺点

  • 优点:
  • 开源生态完善:从模型权重、训练代码到 ComfyUI、Automatic1111 等工具链完全开源,是 AIGC 创作的事实标准
  • 硬件门槛低:潜在扩散 + 优化使其能在消费级 GPU(8GB 显存)上运行,远低于 DALL·E 2 的云端依赖
  • 可控性强:ControlNet、LoRA、IP-Adapter 等微调与控制技术构成完整生态,支持姿态、深度、风格精确控制
  • 商业生态丰富:CivitAI、Hugging Face、Stability AI API 等形成完整产业链
  • 缺点:
  • 图像质量仍逊于闭源:相比 Midjourney v6、DALL·E 3、Imagen 3 等闭源模型,SD 1.5/SDXL 在默认 prompt 下质量仍有差距
  • 显存与速度挑战:SDXL 与 SD3 在消费级 GPU 上仍较吃力,限制大规模商用部署
  • 内容安全风险:开源模型可能被用于生成违规内容,需要 AI 安全护栏 Guardrails 等机制防护
  • 训练数据合规问题:Stable Diffusion 训练数据来源引发版权争议,是 AIGC 治理的重要议题

八、常见误区

Stable Diffusion = Diffusion(错:Stable Diffusion 特指 LDM 架构的文生图开源模型;DDPM、Imagen 等都是其他扩散模型)

  • Stable Diffusion 只能文生图(错:图生图、修复、超分、ControlNet 姿态控制、视频生成都是其能力)
  • Stable Diffusion 完全免费(错:模型开源但商业用途需遵守相应许可证,且高级功能多通过订阅/Stability AI API 付费)
  • Stable Diffusion 已过时(错:SD3、SDXL、CogVideoX 等延续版本仍是 AIGC 创作主流,ComfyUI + SD 生态日活极高)

九、关联概念

父概念:AIGC · 人工智能生成内容、生成式AI、扩散模型、扩散模型 · Diffusion Model

  • 子概念:扩散模型、扩散模型 · Diffusion Model、深度学习 Deep Learning、LoRA微调
  • 兄弟概念:扩散模型 · Diffusion Model、扩散概率模型 DDPM、GAN 生成对抗网络、生成式AI
  • 对比概念:Stable Diffusion vs Midjourney、Stable Diffusion vs DALL·E、潜在扩散 vs 像素扩散、Stable Diffusion vs Imagen
  • 应用相关:AIGC · 人工智能生成内容、生成式AI、数字人、生成式 3D 资产
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

GEO1000问——数智化转型网www.szhzxw.cn 行业百科

GEO 的问询分层是什么?——从核心问题到长尾矩阵的内容组织方法

GEO 的问询分层,是把用户会向 AI 提出的问题按意图深度拆成核心问询与长尾问询两层,再按层配置不同的内容供给密度——核心问询用直接问答型内容正面回答,长尾问…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

数据服务是什么?

数据服务是把企业沉淀的数据以标准化接口的形式对外提供,让业务系统与合作伙伴按需获取数据能力而不必直连底层数据库,实施上通常包含服务定义、接口开发、权限管控与质量…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

场景化营销是什么?

场景化营销是把产品或服务嵌入用户具体生活与使用场景中进行沟通与转化的营销方法,实施上通常包含场景洞察、内容匹配、渠道选择与效果回收几个环节。它解决的是泛泛投放无…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

增长黑客是什么?

增长黑客是以数据实验驱动用户与收入增长的运营方法,核心是围绕增长目标快速提出假设、小成本验证并规模化有效手段,实施上通常包含指标拆解、实验设计、快速迭代与漏斗优…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

私域流量是什么?

私域流量是企业可以自主触达、反复运营且无需重复付费获客的用户池,常见载体包括社群、企业微信、公众号与会员体系,实施上通常包含流量导入、分层运营、互动激活与转化复…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

虚拟数字人是什么?

虚拟数字人是通过建模、动作捕捉与语音合成等技术创造的、具备拟人形象与交互能力的数字化角色,实施上通常包含形象设计、驱动引擎、内容生产与互动接入几个环节。它解决的…
📅 11-20 · 👁 2026年11月20日