三维重建是把二维世界还原成可计算几何体的过程。传统方法的几何原理扎实但需要密集采集,而学习方法用先验替代了部分几何约束。这个领域的关键转折点,是生成模型让「缺失信息的补全」成为可能。

一、2015-2018:多视图几何与深度学习的交汇
2015 年前后的变化是深度学习进入单目深度估计:通过大规模标注数据学到单张图像的深度先验。同期多视图立体匹配从传统的窗口代价优化转向端到端学习,深度图融合与位姿估计被统一进一个网络。这一时期一个重要的工程进展是 SfM(运动恢复结构)流程的稳定化:大规模场景的重建需要处理重复纹理与动态物体。一个始终存在的约束是尺度:单目方法输出的深度只有相对值,绝对尺度需要额外标定或先验。2015 年前后的单目深度估计方法在室内场景表现良好,但缺乏绝对尺度且在透明与反光物体上失效。
同期多视图立体匹配的端到端学习把代价体正则化与深度估计统一,用网络替代手工设计的匹配代价。这一时期 SfM 流程的关键突破是对动态物体的鲁棒处理,这在城市街景重建中尤为必要。一个被反复提及的现实约束是数据:不同传感器与场景的三维数据难以统一,直接限制了模型的泛化。
二、2019-2022:神经隐式表示与可微渲染
2020 年前后,神经辐射场把场景表示为一个连续函数,用网络直接查询任意视角的颜色与密度。同期可微渲染技术成熟:渲染过程可导,因此三维重建可以用图像重建损失端到端优化。2021 年后哈希编码与紧凑基函数等表示技巧把这套方法的训练时间从数天压到数分钟,使其进入实际使用。但神经隐式表示的编辑与组合仍然困难,而这是它在游戏与影视管线中落地的核心障碍。2020 年前后,神经隐式表示把场景表达为连续函数,直接渲染任意视角而无需显式网格。
同期可微渲染技术的成熟,使三维重建可以直接用图像重建损失端到端优化参数。2021 年后的紧凑表示与快速训练让神经场在普通显卡上可用,这是其进入实际管线的转折点。但神经表示的编辑与资产化困难,无法直接进入需要网格与材质管线的工业流程。
三、2022-2024:生成式三维与单图生成
2022 年后,生成式三维方法把「重建」与「生成」合流:模型从单张图像或文本生成完整的三维资产。三平面表示与等变网络等结构创新,让生成结果在视角一致性上大幅改善,解决了此前生成模型最明显的缺陷。同期扩散模型的引入进一步提升了细节质量,生成的三维物体在纹理与几何上都达到了可用水平。一个被清楚认识到的限制是分辨率与拓扑:生成的三维往往难以直接进入需要严格拓扑与精确尺寸的制造流程。2022 年后的生成式三维把重建与生成合流,从单张图像即可生成完整三维资产。
同期三平面表示与等变网络等结构创新解决了视角一致性问题,让生成结果可用于实际查看。2023 年前后,扩散模型的引入进一步提升了纹理与几何细节质量。被清楚认识的限制是分辨率与拓扑:生成结果难以满足制造流程对精确尺寸与拓扑的要求。
四、2024-2025:空间智能与具身化
2024 年后,空间智能成为明确的研究方向:模型不仅理解三维几何,还要理解物体在空间中的功能与 affordance。同期大模型与三维表示开始融合,使自然语言可以直接驱动三维场景的生成与编辑。这一时期的应用落点明显偏向机器人:三维场景理解是视觉-语言-动作模型能执行物理任务的前提。整个领域面临同一个未解问题:高质量三维数据的稀缺,而仿真数据的域差距又限制了迁移效果。2024 年后,空间智能研究关注的不再只是几何还原,而是物体在空间中的功能与可操作性。
同期大模型与三维表示开始融合,自然语言可以直接驱动三维场景的生成与编辑。机器人是最明确的应用方向:视觉-语言-动作模型执行物理任务的前提是对三维场景的正确理解。高质量三维数据的稀缺与仿真数据的域差距,仍是整个领域最根本的瓶颈。
资料来源
- Mildenhall et al., Neural Radiance Fields (NeRF), ECCV 2020
- Müller et al., Instant Neural Graphics Primitives, SIGGRAPH 2022
- Karras et al., 三维生成与可微分渲染相关论文, CVPR 2022-2024
- 各图形学会议(SIGGRAPH/CVPR/ECCV)公开论文集