基于OpenCV的双目视觉系统

简介：
本项目构建了一个基于OpenCV库的双目视觉系统，实现立体视觉技术的应用，包括图像采集、校准及深度信息计算等功能。 在计算机视觉领域，双目视觉是一种模拟人类双眼工作原理以获取三维信息的技术。它主要依赖于两个相机从不同视角捕获同一场景的图像，并通过图像处理与几何计算来重建场景的三维结构。OpenCV（开源计算机视觉库）是一个强大的工具，提供了丰富的功能支持双目视觉的应用。 以下是基于OpenCV实现双目视觉的关键步骤和技术： 1. **手工标定对应点**：在双目系统中首先需要对两个相机进行标定以确定它们的内参和外参。内参数包括焦距、主点坐标等，而外参数描述了相机之间的相对位置与姿态。OpenCV提供了`calibrateCamera()`函数用于完成这一任务。手工标定对应点是指在两幅图像中找到相同的特征点，这可以通过SIFT、SURF或ORB等特征检测方法和BFMatcher或FLANN匹配算法来实现。 2. **计算基本矩阵**：一旦找到了对应的特征点，就可以通过`findFundamentalMat()`函数从这些对应点对估计出描述两个相机间几何关系的基本矩阵。该过程基于Epipolar Geometry理论推导得出的公式进行。 3. **单应性矩阵与本质矩阵**：利用基本矩阵进一步计算得到单应性或本质矩阵，它们都表示了两台摄像机间的几何关系；而本质矩阵则包含更多关于相对旋转和平移的信息。`recoverPose()`函数可以从基本矩阵中恢复出相机的相对姿态。 4. **立体匹配**：一旦确定好相机间的关系后就可以进行左右图像中的对应像素查找——即所谓的“立体匹配”。这通常涉及计算成本函数，如Sad（绝对差之和）、Ssd（平方差之和）或Census Transform等，并采用动态规划方法（例如BM - Block Matching）或半全局匹配(SGBM - Semi-Global Block Matching)。OpenCV的`StereoBM`与`StereoSGBM`类提供了这些算法的具体实现。 5. **视差图生成**：立体匹配的结果是一个表示深度信息的“视差图”，每个像素值对应于其在空间中的偏移量，可用于构建三维场景模型。使用OpenCV的`compute()`函数可以生成这样的视差图。 6. **后处理**：为了提高精度和鲁棒性，需要对原始视差图进行去噪和平滑等操作以减少不连续性和噪声影响。常见的技术包括双边滤波、自适应阈值以及空间一致性检查。 7. **应用领域**：双目视觉广泛应用于机器人导航、自动驾驶车辆的避障系统及无人机飞行控制等领域，并且对于三维重建也有重要价值。 这些步骤和技术为开发和理解基于OpenCV实现的双目视觉项目提供了坚实的基础。