EBM:基于能量的模型

Energy-BasedModels(EBM,基于能量的模型)是一类用标量能量函数E(x)直接描述数据分布概率p(x)∝exp(-E(x)/T)的概率建模框架,由YannLeCun等学者在过去数十年间持续推动。

一、什么是EBM:基于能量的模型

Energy-Based Models(EBM,基于能量的模型)是一类用标量能量函数 E(x) 直接描述数据分布概率 p(x) ∝ exp(-E(x)/T) 的概率建模框架,由 Yann LeCun 等学者在过去数十年间持续推动。其核心思想是为每一个输入 x 赋予一个标量「能量」,能量越低表示该输入越「像」真实数据样本;通过学习使真实数据能量低、虚假样本能量高,从而隐式建模复杂数据分布。EBM 既可生成图像、文本、3D 结构,也可做判别任务,是连接判别式与生成式模型的统一数学框架,也是扩散模型(Diffusion Models)的理论先驱之一。通往自动机器智能的隐变量能量模型(work in progress)_work in progress是所有的indirect cost 吗 ...

二、原理

1. 能量函数定义:为每个输入 x 定义标量能量 E_θ(x),概率 p(x) ∝ exp(-E_θ(x)) → 2. 训练目标:让真实样本 x 的能量 E_θ(x) 显著低于其他样本的能量 → 3. 采样推断:从先验分布出发,用 Langevin 动力学沿梯度 ∇_x log p(x) 迭代下降到低能量区域生成样本 → 4. 对比散度训练:用正样本(数据)与负样本(模型当前采样)的能量差驱动梯度下降 → 5. Score Matching:通过匹配数据分布梯度(score)规避配分函数的难解性 → 6. 联合能量模型(JEM):让同一能量函数同时支持判别与生成,统一两类任务

三、信息卡片

中文名 基于能量的模型
英文名 Energy-Based Models
缩写 EBM
别名 基于能量的模型、能量模型
提出者 Yann LeCun 等学者持续推动,深度学习时代由 Du、Mordatch 等系统化研究
提出时间 2006 年概念框架,2019-2020 年深度 EBM 实现进入主流
所属类别 AI 技术 > 深度学习 > 生成模型 > 概率建模
核心技术 能量函数、对比散度、Langevin 动力学、Score Matching、Joint Energy-Based Model
主要应用 图像生成、文本生成、组合优化、异常检测、Out-of-distribution 检测、多模态建模

四、历史时间线

2006 年:Yann LeCun 在《A Tutorial on Energy-Based Learning》中系统提出 EBM 框架

  • 2011-2016 年:深度 Boltzmann 机、Deep Energy Estimator 等早期深度 EBM 受限于训练不稳定
  • 2019 年:Yilun Du 等在 NeurIPS 发表《Implicit Generation and Modeling with Energy-Based Models》,用 Langevin 动力学实现高质量图像生成
  • 2020 年:Will Grathwohl 等在 ICLR 发表 JEM,把 EBM 与判别模型统一,引发广泛关注
  • 2021-2022 年:EBM 思想与扩散模型深度融合,Score-Based Generative Modeling 论文证明 score ∝ ∇log p(x) 即 EBM 的梯度
  • 2023-2025 年:EBM 在组合优化(蛋白质设计)、异常检测、文本生成(EBM-LM)、多模态生成等场景持续扩展

五、分类

按训练方法:对比散度(CD)vs Score Matching vs Noise Contrastive Estimation vs Denoising Score Matching

  • 按采样方法:Langevin Dynamics vs Hamiltonian Monte Carlo vs SGLD vs MCMC 衍生
  • 按架构:CNN-EBM vs Transformer-EBM vs MLP-EBM vs JEM 联合能量模型
  • 按任务类型:图像生成、文本生成、组合优化、异常检测、多模态生成
  • 按与扩散关系:原始 EBM vs Score-Based EBM(与扩散等价)vs Conditional EBM

六、应用场景

  • 图像与多模态生成:通过 Langevin 采样生成高质量图像,是扩散模型的直接理论前身
  • 组合优化与科学发现:在蛋白质设计、药物分子生成等场景中,EBM 提供了组合式生成建模工具
  • 异常检测与 OOD 检测:基于能量分数可天然识别分布外样本,是工业质检、入侵检测的常用方案
  • 文本生成(EBM-LM):把语言模型视为能量函数,通过 Langevin 采样解码,提升多样性与可控性
  • 判别任务统一建模:JEM 等联合能量模型把分类、检测、生成统一在同一个 EBM 中

七、优缺点

  • 优点:
  • 数学统一性强:用能量函数把判别、生成、异常检测统一在同一框架内
  • 灵活度高:不限制生成器必须是规范化分布,可建模任意复杂数据分布
  • 理论根基深:是统计物理与机器学习的天然桥梁,对扩散模型等新方法有理论指导意义
  • 异常/OOD 检测天然友好:能量分数是分布距离的近似,检测 OOD 比 softmax 置信度更可靠
  • 缺点:
  • 训练不稳定:对比散度与 Langevin 训练对超参敏感,易发散或模式崩塌
  • 采样慢:MCMC/Langevin 采样通常需要大量迭代,推理延迟高
  • 评估困难:难以计算精确似然,模型选择与早停缺乏直观指标
  • 工业落地少:相对 GAN/扩散模型,EBM 的工业级开源工具与商业案例较少

八、常见误区

  • EBM = 玻尔兹曼机(错:玻尔兹曼机只是 EBM 的一种具体实现,EBM 是更广义的概率建模框架)
  • EBM 已被扩散模型取代(错:扩散模型本质是 Score-Based EBM 的特例,二者是理论包含关系而非替代)
  • EBM 只能用于生成(错:EBM 同时支持判别、生成、异常检测等多任务,统一框架是其核心优势)
  • EBM 不需要采样(错:除 JEM 等特例外,大多数 EBM 的训练与生成都需要 MCMC/Langevin 采样)

九、关联概念

  • 父概念:深度学习 Deep Learning、机器学习 Machine Learning
  • 子概念:扩散模型、扩散模型 · Diffusion Model、GAN 生成对抗网络、深度学习 Deep Learning
  • 兄弟概念:扩散模型 · Diffusion Model、GAN 生成对抗网络、深度学习 Deep Learning、机器学习 Machine Learning
  • 对比概念:EBM vs GAN、EBM vs 扩散模型、EBM vs VAE
  • 应用相关:扩散模型 · Diffusion Model、AIGC · 人工智能生成内容、AI 制药、生成式AI
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

零信任是什么?

零信任是把网络访问的信任判定从「你处在内网还是外网」改为「你是谁、设备处于什么状态、这次访问的上下文如何」的安全架构方式,核心是永不信任与持续验证,能力包括身份…
📅 11-16 · 👁 2026年11月16日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

混合专家模型是什么?

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构,核心是在不激活全部参数的前提下扩大模型容量,能力包括门控路由、专家容量约束与负载均衡机制。它…
📅 11-16 · 👁 2026年11月16日
数字化转型1000问——数智化转型网www.szhzxw.cn 数字化转型1000问

Helm Chart 是什么?

Helm Chart 是把一组 Kubernetes 资源及其配置参数打包成可复用、可版本化的部署模板的声明式打包格式,核心是让部署配置的差异被显式参数化而非散…
📅 11-16 · 👁 2026年11月16日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

OpenTelemetry是什么?

OpenTelemetry 是统一指标、日志与链路追踪三类遥测数据的采集与传输协议、API 与工具集合,核心是用开放标准消除厂商锁定,能力包括统一 SDK、采集…
📅 11-16 · 👁 2026年11月16日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

Fluentd是什么?

Fluentd 是以统一日志记录层处理日志采集、缓冲、路由与输出的开源工具,核心是插件化的输入输出解耦,能力包括多来源采集、内存与文件缓冲以及多目标转发。它解决…
📅 11-16 · 👁 2026年11月16日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI伦理是什么?

AI 伦理是研究人工智能开发与应用过程中应遵循的道德原则与价值体系的学科,核心是把公平、透明、可解释、隐私与责任归属等人类价值嵌入技术演进路径,能力包括公平性评…
📅 11-16 · 👁 2026年11月16日