传感器融合

元素,如知觉、本地化、规划和控制对于任何自主车辆的成功是必要的。自主车辆使用一套传感器收集数据从它的环境检测可能的障碍(感知),识别物体的位置与centimetre-level精度(本地化),决定高层路线遍历(规划)和方向盘的正确运动(控制)。

两个传感器是RGB相机,它提供了2 d位置和颜色信息,和一个输出激光雷达三维位置和深度的信息环境。作为传感器(相机和激光雷达)可以同时捕捉环境的直接属性,这些属性的集成与一个有效的融合方法大大有利于环境的可靠的和一致的看法。

立体视觉

立体视觉相机的使用环境的构建3 d视图可以被视为一种融合相机和激光雷达数据,然而,处理立体视觉数据比较计算昂贵和容易估计错误。

RGB相机输出和一个3 d激光雷达输出

传感器融合技术

融合感官来自多个数据源的数据,就必须找到所有的相对位置和方向传感器使用。随着传感器融合技术应用于各个领域,传感器之间的校准问题已经变得越来越重要,特别是在融合相机和激光雷达数据在自动车辆。检测独特的激光雷达点云数据的特点和相机的图像数据,有必要确定一个准确的传感器之间的对应关系。数据融合过程应该能够利用传感器的信息积极感知周围的环境,融合的结果应该传感器信息的结合而不是冗余信息的组合。

成功地融合两个传感器的数据,他们应该有一个共同的可见点可以校准或寄存器的数据从一个传感器。其次,传感器必须同步或者至少使用一个共同的时间引用,从而使其可以识别常见的事件。例如,融合数据从一个RGB相机和深度相机,都具有相同的分辨率和同时取自相同的位置是一个像素匹配的问题。

不幸的是,这不是RGB相机和激光雷达的情况下没有直接pixel-to-pixel 2 d和3 d数据之间的匹配。基于成像目标检测和分类技术非常健壮和高效之前,然而,很难获得准确的检测到对象的深度。相比之下,激光雷达传感器可以有效地估计物体,但遭受的深度小的分类和远处的物体。四种传感器融合策略可以用来把数据从RGB相机和激光雷达等传感器:

1. 早期的融合,包括原始传感器数据的直接结合的两个传感器之前预测的环境。合并后的数据可以送入深卷积神经网络预测环境中的对象。
2. 后期融合,包括结合个人独立预测从每个传感器。对于这种方法,一个人可以有两个独立的卷积网络深处,每一个输入的传感器和强劲的预测相结合识别环境中的物体。
3. 中层融合,包括构建一些中间表示和使用培训深卷积神经网络。这种融合策略可以被看作是一个混合的早期和晚期之间的融合;然而,它通常是更困难的训练有很多参数。
4. 顺序或渐进融合包括传感器数据的使用一个接一个从两个传感器构建一个对环境的理解。例如,结合RGB摄像机和雷达数据,可以使用雷达传感器来探测移动物体然后相机指向那个方向确定的对象。

假设相机和激光雷达数据同步和取自相同的观点。

融合2 d RGB图像和3 d激光雷达数据,可以每个激光雷达点\ (p \)投射到RGB图像通过使用\α(\ [u, v, 1] ^ T = K (Rp + T) \),在那里\ ((u, v) \) 3 d点的像素坐标二维图像,\ (K \)相机的内在校正矩阵,和\ (R \) \ (T \)翻译是旋转矩阵和向量变换的3 d点激光雷达坐标系到摄像机坐标系。\ \ (p)的激光雷达点:

\ (r \)范围,\(θ\)方位角,\(Φ\)是激光产生的仰角的回报。因此从激光雷达图像的RGB图像映射可以获得并随后使用复制功能从RGB图像的激光雷达图像。