基于3D高斯溅射的实景三维重建
转载 2025-06-24 10:36 航天宏图 来源:航天宏图一、研发背景
“实景三维中国”作为国家推进数字中国建设、提升空间地理信息服务能力的重要战略性工程,正在深度融入低空经济、智能交通、智慧城市、数字文旅和应急指挥等关键领域。三维重建是实现真实世界“实景三维”数字化表达的核心技术,通过相机、传感器等设备获取物理空间数据,并结合计算机视觉与图形学算法,将二维图像转换为三维模型。目前,主流的三维重建方法包括倾斜摄影(多视角立体重建)、激光扫描和神经辐射场(Neural Radiance Fields, NeRF)等,各具优势与局限。
近年来,3D高斯溅射(3D Gaussian Splatting, 3DGS)作为一种新兴的三维表示方法,在渲染质量和效率方面展现出显著优势。其核心思想是将三维场景表示为一组具有空间位置、协方差矩阵、不透明度和球谐系数的各向异性高斯分布,从而实现对几何结构与光照信息的统一建模。在众多三维重建与渲染技术中,3DGS具备多方面的优势。相比基于NeRF的方法,3DGS在训练和渲染速度上大幅提升,能够支持实时或交互式应用,同时依然保持较高的渲染真实感;相比倾斜摄影等传统重建方法,3DGS无需显式构建3D结构,能够更逼真地还原连续的表面细节,有效避免传统方法中常见的拼接痕迹与破面问题,并在复杂几何结构表达和动态光照模拟方面表现更为出色。
航天宏图依托在遥感测绘、空间数据处理与三维建模方面的技术积累,基于3DGS重建技术,研发了“全栈式3DGS实景三维重建系统”。该系统面向展品、展厅、数字孪生城市等多尺度应用场景,助力行业客户构建真实、可交互的三维数字空间,支撑“实景三维”数字化建设与空间智能化管理。
表1-1 3DGS与传统实景三维技术的对比
二、系统概述
航天宏图全栈式3DGS实景三维重建系统,贯彻从多源数据采集、自动化建模到个性化Web端显示的完整流程。系统支持无人机、手持相机等多种采集方式,结合空三计算与相机位姿优化模块,实现高质量的3DGS模型构建。建模过程高度自动化,无需复杂人工调参,可高效输出轻量、高保真的三维模型。模型可部署至浏览器端,支持多视角切换、标注和图层管理等功能,交互展示平台可按需定制,灵活对接各类业务系统。
图2-1 全栈式3DGS实景三维重建系统框架
整体系统具有轻量高保真、全链高协同和平台可定制三大特点:
● 轻量高保真:基于3DGS建模技术,有效压缩模型体积的同时,保持高质量渲染效果,兼顾渲染效率与视觉真实感。
● 全链高协同:覆盖从数据采集、建模处理到Web端显示的完整流程,系统模块高度协同,支持各环节灵活组合部署。
● 平台可定制:Web端支持按需开发、功能拓展及系统对接,满足不同行业与场景的个性化应用需求。
该系统可满足数字展品、虚拟展厅、三维孪生城市等实景三维应用需求,支持用户高效构建真实、可交互的数字孪生空间底座。
三、关键技术
航天宏图全栈式3DGS实景三维重建系统主要包括以下四大关键技术:大规模影像空三处理、分布式3DGS重建方法、大场景模型压缩技术以及定制化Web端开发。
1
大规模影像空三处理
航天宏图自研的大规模影像空三处理方法,是三维重建流程中的关键技术之一,主要用于精确解算影像的内外方位元素,并获取高精度的空间几何参数。系统首先通过图像特征提取与匹配,自动识别影像间的对应关系,进而结合控制点信息与区域网平差算法,实现稳定可靠的几何解算。
该方法融合了计算机视觉中的结构光束法与传统摄影测量技术,兼顾自动化处理效率与定位精度,适用于来自手持相机、无人机等多种平台采集的航迹式光学影像。为进一步提升性能,系统还引入连接点抽稀机制,有效减轻计算负担,在保证精度的同时显著提升解算速度。
此外,系统具备优异的大规模处理能力,支持超过100,000张影像的空三解算,满足城市级以及更大范围场景的实景三维重建需求。同时支持多节点协同处理,可根据任务规模灵活调度资源,提高整体数据处理效率,大幅缩短计算时间。
表3-1 拍摄要求
(左)相机位姿估计 ,(右)航线与3D点云重建结果
图3-1 无人机影像自动空三处理结果
2、分布式3DGS重建方法
针对大规模场景的三维重建需求,航天宏图研发了分布式3DGS重建方法,有效解决了传统3DGS在大规模场景下训练效率低、渲染响应慢等核心瓶颈。面向城市级、区域级等超大规模场景,该方法引入多GPU并行建模策略,显著提升重建效率与渲染性能。
该方法首先构建一个低分辨率的初始3DGS模型,作为场景结构的粗略先验。在此基础上,系统自动将全局点云划分为多个空间上互不重叠的子模型。针对每个子模型,系统基于其与训练视角之间的投影覆盖关系与相机空间分布,智能筛选最相关的图像数据,确保在建模过程仅使用高相关的视角,有效提升训练数据利用率,同时抑制由低相关视角引入的渲染伪影。各子模型可在多张GPU设备上并行训练,训练完成后通过空间对齐与无缝拼接生成统一的3DGS模型,实现高效率、高精度的大规模三维建模与实时渲染,满足智慧城市、数字园区等场景下对大范围三维空间重建的精准表达需求。
(左)场景整体分块示意图,(右)单个分块区域展示
图3-2 分布式3DGS重建
3、大场景模型压缩技术
为解决大规模场景下3DGS模型的存储和渲染问题,航天宏图研发了大场景模型压缩技术。3DGS模型压缩技术旨在提升大规模场景下的部署效率与终端适配能力,通过在训练过程中及训练完成后引入压缩策略,实现显存占用与存储体积的双重优化,显著减轻模型资源开销。
在训练阶段,基于并行建模框架引入在线压缩机制,系统会周期性评估每个高斯基元对训练视角的贡献程度,并依据其重要性动态剔除贡献较低的冗余点。该机制不仅有效降低了训练过程中的显存占用,还加快了模型的收敛速度,尤其适配计算资源受限的设备环境。
在训练完成后,系统还会进一步对模型进行离线轻量化处理,包括自动识别并清除离群高斯点、压缩模型存储位数等操作,从而在保证模型渲染质量的前提下,有效减小最终模型体积,提升模型的跨平台部署能力与实时加载性能。
表3-2 大场景3DGS模型压缩前后大小对比结果
4、定制化web端开发
航天宏图提供定制化的Web端可视化交互能力,支持多种主流图形引擎,实现对3DGS模型的跨平台在线加载与交互式浏览。主要优势有:
● 高效渲染与广泛兼容:依托WebGL的GPU加速,可在Chrome、Firefox、Safari等主流浏览器中流畅渲染三维场景。
● 多引擎灵活集成:兼容Three.js API与社区生态,便于高效模型展示,同时支持Unity WebGL,满足更复杂的交互需求。
● 丰富的交互功能:内置自定义标注、属性弹窗、图层切换、模型剖切、测量分析等多样组件,覆盖展品、展厅、城市等多类型三维数据的精细化浏览与分析。
● 平台级扩展与集成:前端采用WebGL与JavaScript技术栈,可无缝对接政务平台、空间数据库、BIM/GIS系统,通过API实现实时数据查询与展示。
● 轻量部署与灵活定制:支持Web组件导出,界面模块化裁剪与功能拓展,适配导航控件、热力图叠加、模型动画等多样业务场景。
四、应用案例
1
展品级重建
基于手持相机等设备采集数据,对单件展品进行高精度三维建模,真实还原其材质、纹理与结构细节,支持文物的在线展示、虚拟导览、三维交互学习等功能,为文物数字化保护、数字博物馆和虚拟教学等应用场景提供技术支撑。
表4-1 展品重建实验设置与结果分析
2
展厅级重建
基于手持相机等设备采集数据,高效重建完整的室内展厅和展品,支持图文信息挂载和语音讲解等多样化功能,可实现企业数字化展厅、博物馆、虚拟会展中心等多种场景的沉浸式三维漫游展示,显著提升线上观览体验与访问流量。
表4-2 展厅重建实验设置与结果分析
3
城市级重建
基于无人机航拍、车载街景采集等多源数据,高效构建数字孪生城市所需的高精度三维模型,可广泛应用于城市规划、交通管理、应急指挥等领域,有助于提升城市治理的科学化、精细化和智能化水平,助力数字孪生城市的建设与可持续发展。
表4-3 城市重建实验设置与结果分析
五、结论展望
随着AI感知技术和边缘计算的持续发展,实景三维重建技术正变得更加高效、智能和实时。作为新一代三维表示方法,3DGS以其轻量高保真、渲染高效、适配多终端等优势,有望成为实景三维重建的主流技术,为数字展品、虚拟展厅、孪生城市、元宇宙等新兴应用提供有力支撑。
未来,航天宏图将持续深耕3DGS核心技术,重点方向包括:融合激光雷达等多源数据,提升重建精度;结合大语言模型,实现智能化的三维场景交互;积极拓展AR/VR、自动驾驶等新兴领域的创新应用,推动3DGS技术在各行业的深入应用,为“实景三维中国”建设贡献更大力量。
六、参考文献
1. Kerbl B, Kopanas G, Leimkühler T, et al. 3d gaussian splatting for real-time radiance field rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.
2. Chen G, Wang W. A survey on 3d gaussian splatting[J]. arXiv preprint arXiv:2401.03890, 2024.