AI与三维重建:从多视图几何到单图生成的十年

三维重建是把二维世界还原成可计算几何体的过程。传统方法的几何原理扎实但需要密集采集,而学习方法用先验替代了部分几何约束。这个领域的关键转折点,是生成模型让「缺失信息的补全」成为可能。

三维重建是把二维世界还原成可计算几何体的过程。传统方法的几何原理扎实但需要密集采集,而学习方法用先验替代了部分几何约束。这个领域的关键转折点,是生成模型让「缺失信息的补全」成为可能。

一、2015-2018:多视图几何与深度学习的交汇

2015 年前后的变化是深度学习进入单目深度估计:通过大规模标注数据学到单张图像的深度先验。同期多视图立体匹配从传统的窗口代价优化转向端到端学习,深度图融合与位姿估计被统一进一个网络。这一时期一个重要的工程进展是 SfM(运动恢复结构)流程的稳定化:大规模场景的重建需要处理重复纹理与动态物体。一个始终存在的约束是尺度:单目方法输出的深度只有相对值,绝对尺度需要额外标定或先验。2015 年前后的单目深度估计方法在室内场景表现良好,但缺乏绝对尺度且在透明与反光物体上失效。

同期多视图立体匹配的端到端学习把代价体正则化与深度估计统一,用网络替代手工设计的匹配代价。这一时期 SfM 流程的关键突破是对动态物体的鲁棒处理,这在城市街景重建中尤为必要。一个被反复提及的现实约束是数据:不同传感器与场景的三维数据难以统一,直接限制了模型的泛化。

二、2019-2022:神经隐式表示与可微渲染

2020 年前后,神经辐射场把场景表示为一个连续函数,用网络直接查询任意视角的颜色与密度。同期可微渲染技术成熟:渲染过程可导,因此三维重建可以用图像重建损失端到端优化。2021 年后哈希编码与紧凑基函数等表示技巧把这套方法的训练时间从数天压到数分钟,使其进入实际使用。但神经隐式表示的编辑与组合仍然困难,而这是它在游戏与影视管线中落地的核心障碍。2020 年前后,神经隐式表示把场景表达为连续函数,直接渲染任意视角而无需显式网格。

同期可微渲染技术的成熟,使三维重建可以直接用图像重建损失端到端优化参数。2021 年后的紧凑表示与快速训练让神经场在普通显卡上可用,这是其进入实际管线的转折点。但神经表示的编辑与资产化困难,无法直接进入需要网格与材质管线的工业流程。

三、2022-2024:生成式三维与单图生成

2022 年后,生成式三维方法把「重建」与「生成」合流:模型从单张图像或文本生成完整的三维资产。三平面表示与等变网络等结构创新,让生成结果在视角一致性上大幅改善,解决了此前生成模型最明显的缺陷。同期扩散模型的引入进一步提升了细节质量,生成的三维物体在纹理与几何上都达到了可用水平。一个被清楚认识到的限制是分辨率与拓扑:生成的三维往往难以直接进入需要严格拓扑与精确尺寸的制造流程。2022 年后的生成式三维把重建与生成合流,从单张图像即可生成完整三维资产。

同期三平面表示与等变网络等结构创新解决了视角一致性问题,让生成结果可用于实际查看。2023 年前后,扩散模型的引入进一步提升了纹理与几何细节质量。被清楚认识的限制是分辨率与拓扑:生成结果难以满足制造流程对精确尺寸与拓扑的要求。

四、2024-2025:空间智能与具身化

2024 年后,空间智能成为明确的研究方向:模型不仅理解三维几何,还要理解物体在空间中的功能与 affordance。同期大模型与三维表示开始融合,使自然语言可以直接驱动三维场景的生成与编辑。这一时期的应用落点明显偏向机器人:三维场景理解是视觉-语言-动作模型能执行物理任务的前提。整个领域面临同一个未解问题:高质量三维数据的稀缺,而仿真数据的域差距又限制了迁移效果。2024 年后,空间智能研究关注的不再只是几何还原,而是物体在空间中的功能与可操作性。

同期大模型与三维表示开始融合,自然语言可以直接驱动三维场景的生成与编辑。机器人是最明确的应用方向:视觉-语言-动作模型执行物理任务的前提是对三维场景的正确理解。高质量三维数据的稀缺与仿真数据的域差距,仍是整个领域最根本的瓶颈。

资料来源

  • Mildenhall et al., Neural Radiance Fields (NeRF), ECCV 2020
  • Müller et al., Instant Neural Graphics Primitives, SIGGRAPH 2022
  • Karras et al., 三维生成与可微分渲染相关论文, CVPR 2022-2024
  • 各图形学会议(SIGGRAPH/CVPR/ECCV)公开论文集
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

AI与生物特征识别:从指纹机到深度伪造攻防的三十年 AI大事记

AI与生物特征识别:从指纹机到深度伪造攻防的三十年

生物特征识别是 AI 最早的商业化应用之一,也是隐私争议最持久的领域之一。它的历史恰好记录了攻与防的往复循环:每一次识别能力的提升,都会催生新的伪造手段,而每一…
📅 11-18 · 👁 2026年11月18日
AI与网络搜索:从关键词匹配到对话式答案的三十五年 AI大事记

AI与网络搜索:从关键词匹配到对话式答案的三十五年

搜索是信息检索技术在互联网上的最大规模应用,也是被生成式 AI 冲击最直接的领域。三十五年间,搜索的核心问题始终没变:如何在极短时间内,从海量文档里找出最相关的…
📅 11-18 · 👁 2026年11月18日
AI与输入法:从拼音输入到意图理解的三十年 AI大事记

AI与输入法:从拼音输入到意图理解的三十年

输入法的历史是中文与语音输入技术史的一个缩影。它既是深度学习最早取得商业成功的场景之一,也是最贴近日常、却最少被公众注意的技术领域。预测下一个词这个看似简单的任…
📅 11-18 · 👁 2026年11月18日
AI 与芯片良率:从缺陷检测到工艺窗口优化的三十年 AI大事记

AI 与芯片良率:从缺陷检测到工艺窗口优化的三十年

在纳米尺度上,一个肉眼不可见的缺陷就可能报废整片晶圆。半导体良率因此成为制造业中数据密度最高、也最有价值的数据资产之一。AI 在这里的应用不是「炫技」,而是直接…
📅 11-18 · 👁 2026年11月18日
AI与金融欺诈检测:从规则引擎到图神经网络的三十年 AI大事记

AI与金融欺诈检测:从规则引擎到图神经网络的三十年

反欺诈是机器学习在金融业落地最早也最成功的领域之一,因为它的判定标准清晰、反馈迅速、错误成本可量化。但它也是「模型越强,攻击者越强」的典型战场 —— 三十年的攻…
📅 11-16 · 👁 2026年11月16日
AI与屏幕与显示:从超分辨率到端侧视觉增强的三十年 AI大事记

AI与屏幕与显示:从超分辨率到端侧视觉增强的三十年

显示与 AI 的结合长期处在「锦上添花」的位置 —— 超分辨率、色彩增强、HDR 映射都让画面更好看。直到端侧神经处理单元普及,屏幕才第一次成为 AI 算力的独…
📅 11-16 · 👁 2026年11月16日