申抒含-大规模场景的三维重建基于图像技术

简介：
申抒含专注于利用图像技术进行大规模场景的三维重建研究，致力于开发高效且精确的算法以实现复杂环境下的高精度建模。 ### 基于图像的大规模场景三维重建 #### 三维几何视觉的核心问题 三维几何视觉是计算机视觉领域的一个重要分支，其主要关注如何从二维图像中恢复出关于物体或环境的三维信息，包括场景的空间结构以及相机的位置和姿态等。这些信息对于实现智能机器人、无人驾驶汽车及增强现实（AR）应用至关重要。三维几何视觉的核心问题可以归结为两个方面： 1. **场景结构**：即通过一系列图像来重建场景的空间布局。 2. **相机位姿**：确定在拍摄每张图片时，相机相对于世界坐标系的位置和姿态。 #### 实现路径 实现三维几何视觉主要有两条途径：Simultaneous Localization and Mapping (SLAM) 和 Structure from Motion (SfM)。 ##### SLAM（同时定位与建图） SLAM是一种实时方法，在线利用视频序列来重建场景的稀疏、准稠密或密集结构，并估计相机的位置和姿态。其关键步骤包括： - **局部匹配**：确定图像间的对应关系。 - **PnP + 三角化**：通过透视投影(PnP)及三角法来确定特征点位置与相机位姿。 - **局部束调整**：优化相机的位姿和特征点的位置，提高重建精度。 - **闭环检测**：识别已访问过的区域以避免重复建图。 - **图优化**：进一步提升整体图像质量。 ##### SfM（多视角重构） SfM是一种离线方法，通过处理多个角度的图片来重建场景的稀疏结构和相机位姿。该过程包括以下步骤： - **完全匹配**：获取所有图像间的对应关系。 - **种子选择**：挑选最佳视图进行初始化。 - **两视图重构**：分析两张照片以估计相机位置及场景结构。 - **PnP + 三角化**：确定特征点的位置与相机的位姿。 - **局部束调整**：优化相机和特征点的位置，提高精度。 - **全束调整**：全局优化所有图像中的信息。 #### 图像三维重建基本流程 该过程包括以下几个阶段： - **多视角图片获取**：收集不同角度的影像数据。 - **稀疏点云生成**：通过匹配特征点并使用PnP等方法，构建出稀疏点云。 - **稠密点云生成**：利用深度学习技术等进一步生成密集程度更高的三维图像。 - **语义分割**：对点云进行分类，例如区分地面和建筑物等元素。 - **模型创建**：结合几何特征与语义信息产生最终的三维模型。 #### Progressive SfM with Orthogonal MSTs Progressive SfM 是一种改进的SfM方法，旨在解决传统技术中存在的匹配时间消耗过长及异常值问题。该方法引入了新的概念： - **相似性图**：描绘图像间的相似度。 - **匹配图**：记录每对图片之间的特征点关联。 - **位姿图**：展现相机间相对的几何关系。 - **视图图**：综合考虑几何结构和内部分配。 该方法的主要步骤包括： 1. **初始化**：选取初始图像作为参考。 2. **匹配与融合**：逐步加入新的视角，利用正交最小生成树(OMST)策略优化新视角的选择过程。 3. **优化**：通过局部及全局束调整等技术来提高重建结果的质量。 通过深入研究和应用这些技术和方法，可以更高效地实现大规模场景的三维重建，并为智能系统提供更为精确且丰富的环境感知功能。