苹果研究团队与香港大学合作发布了一项名为 LGTM 的新渲染框架。这一框架的全称为 “Less Gaussians, Texture More”,旨在突破4K 超高清画质的渲染瓶颈。
LGTM 框架的核心创新在于将3D 场景的几何结构与表面纹理进行解耦,从而简化几何形状的复杂性,同时通过叠加纹理层实现高质量的视觉效果。传统的 “前馈3D 高斯泼溅” 技术虽然可以将2D 图像快速转换为3D 场景,但在高分辨率处理时,随着像素数量的增加,计算需求呈指数增长,使得设备难以承载。
为了解决这一问题,LGTM 采取了两步走的策略。首先,模型从低分辨率图像中学习场景结构,确保在2K 或4K 渲染时几何框架的完美呈现。接着,第二个网络专注于细节处理,将高分辨率的纹理精确映射到几何结构上。这样的分工有效避免了对高算力的全链路消耗。
为了解决这一问题,LGTM 采取了两步走的策略。首先,模型从低分辨率图像中学习场景结构,确保在2K 或4K 渲染时几何框架的完美呈现。接着,第二个网络专注于细节处理,将高分辨率的纹理精确映射到几何结构上。这样的分工有效避免了对高算力的全链路消耗。