车载激光雷达和视觉传感器融合算法
√
摘要
随着智能交通的发展，智能交通技术受到了广泛的关注。其中，车载激光雷达技术作为智能驾驶系统的基础，是智能驾驶技术研究的课题。环境视觉系统有很多功能领域，其中，车载激光雷达是环境视觉系统的主要功能，需要对道路行驶环境中的障碍物类型（车辆、行人、自行车）进行正确分类，获取合适的障碍物。物理和空间信息，但实时性很重要。目前，大部分LED通知都在由车载激光雷达组成的环境上，并且已经取得进展。但是，在复杂的交通环境中，车载激光雷达的某些方面可能会受到环境干扰的影响，导致控制知识受损，尤其是对车辆的详细信息和准确性较低的障碍标记。如何充分利用视觉传感器融合算法，消除环境干扰，提高不同类型障碍特别是小障碍的线索通知准确率，获得空间信息直接屏蔽，同时保持系统高速。视觉传感器融合算法一个非常重要的问题，也是一个挑战。针对以上问题，本文开展了基于激光雷达与视觉传感器融合算法的导联信号技术研究。
关键词:障碍物识别;激光雷达;视觉传感器;多传感器融合能
目录
摘要 1
1 绪论 2
1.1背景与意义 2
1.2国内外研究 3
2 相关理论 3
2.1激光雷达传感器 3
2.2 基于激光雷达的障碍物识别方法 4
(1)地面分割 4
(2)点云栅格化 4
2.3 卷积神经网络 5
（1）卷积神经网络的组成 5
（2）卷积神经网络 6
3 车载激光雷达与视觉传感器融合的障碍物识别方法 7
3.1 车载激光雷达 7
（1）DTM（Digital Terrain Model）建模技术 7
（2）车载/船载激光雷达 8
3.3 高阶特征融合 9
3.4 实验分析 10
（1）横向比较 10
4 总结 11
参考文献 11

1 绪论
1.1背景与意义
随着我国经济和人均可支配收入的持续快速增长，汽车作为一种便捷的交通工具，在普通人的家庭中越来越普遍[1]。据公安部调研，2018年底以来，全国摩托车保有量达到3.27亿辆，机动车保有量达到4.09亿人次。汽车驾驶管理着人们的日常生活，促进了经济社会的发展[2]，同时也给我国的道路交通管理、环境保护、电气保护、减排等方面带来了很大的压力。我国道路条件和交通条件艰苦，交通事故多发。据统计，仅2018年全国每年因道路交通事故造成的重大事故和死亡人数分别占全国所有事故和事故的70%和80%。全国发生道路交通事故20049起[3]，死亡63772人，经济损失12131万元。道路交通事故已成为威胁人类生命财产安全的重大隐患。据世界卫生组织统计[4]，交通事故是5-29岁儿童和青少年死亡的首要原因。我国是交通事故多发的国家之一[5]，近年来，基于相关部门的重视、相关法律法规的完善，以及人们安全出行意识的提高，我国发生了大量交通事故。中国每年都在下降[6]，道路交通事故死亡人数超过6万人，财产损失超过10亿元。
道路交通系统是一个由人、车、道路和环境组成的多元交互式系统，分析表明，人为原因造成的事故占所有交通事故的80%-90%[7]。这些原因是疏忽、不当行为、违反法律法规和不安全的道路设施[8]。据相关研究，如果驾驶员能够提前0.5s做出反应，可以减少60%的交通事故；如果驾驶员能够对前方车辆1s的安全问题做出正确的决定，则可以避免90%的车辆[9-10]。然而，很多时候一个人无法及时准确地做出反应以避免交通事故。因此，为减少交通事故、提高车辆安全性，近年来世界各国都在重点研究智能驾驶技术[11]。智能驾驶技术通过电子通讯技术帮助驾驶员安全地控制汽车[12]，在最恶劣的条件下获得汽车的最高功率，从而降低安全风险。 2018年，美国国家公路交通安全管理局发布的官方文件将智能驾驶系统划分为LO-L5的6个级别[13]。不同级别的智能驾驶系统对驾驶管理的参与程度也不同。其中，L5级别的认知度。司机 该系统不需要任何人类活动，它可以理解自动司机[14]。近年来，中国在国家层面对智能驾驶技术给予了高度关注和支持。2016年公布的《中国制造2025》中特别提到大力支持汽车制造业，特别是推动汽车工业向信息化、知识化方向发展[15-16]。
1.2国内外研究
障碍物识别作为智能驾驶环境感知系统的关键功能[17-18]，这仍然是国内外智能驾驶技术研究的重点，应该依靠多种环境观景平台来完成[19]。目前，智能驾驶环境领域广泛应用的手袋主要有光学传感器、毫米波雷达和激光雷达三种。本节基于不同新闻来源的不同类型的认知技术。根据屏幕识别的特点，尤其是屏蔽分类，镜像钱包更具优势。其他类型的手袋此前已广泛应用于车载激光雷达的视觉系统中。文献提出了一种基于去除车辆阴影[20-22]，来标记车辆的方法这种方法容易接触到道路类型和其他自然物体（线、块、解释），以及各种基于提取不同类型形状来定义边界的方法 这类方法没有算法训练，它依赖于预定义的阈值，无法适应不断变化的车辆状况。
近年来，随着机器学习的发展[23-24]，已经确定了大量关于机器学习的领先指标。 其中，算法构建器由自适应增强（AdaBoost）和向量支持引擎（SVM）提供支持，它们通过在图像处理后去除相关特征来训练[25]。虽然这种类型的技术是一种适应性力量，但它没有扩展到维持复杂条件的能力。随着深度研究的兴起，国内外研究人员已经开发出许多基于深度研究的领先信息方法。但是，这种方法依赖于网络本身的性能，而不是考虑交通空间的特性。此外，这类深度学习方法在提取高层信息时会丢失详细信息，因此对行人和骑自行车者等低层障碍物的感知较少。
2 相关理论
近年来，随着移动技术和通讯技术的发展，许多新型高端手袋被应用到智能驾驶员的自然思维平台上。 其中，一种新型的车载激光雷达（Lidar Vision and Ranging，Lidar）被广泛应用于智能驾驶系统中的铅检测。车载激光雷达扫描具有搜索范围广、信息范围广（三维空间信息和单幅图像信息）、精度高等优点。 本文重点介绍基于车载激光雷达的线索搜索技术。首先，我们将简要介绍激光雷达传感器的基本特性，然后研究和设计基于激光雷达组合的领先传感器技术。 因为依靠车载激光雷达知道如何防止是一个简单的弱点。
2.1激光雷达传感器
扫描式激光雷达的诸多优点使其十分适合复杂交通环境下的环境感知，视觉系统的主要功能是针对智能驾驶环境，例如创建三维地图和信号。对于激光雷达包上的铅通知技术，国内外研究人员经过多次研究和实验，已经形成了复杂的图像处理解决方案。基于上述方法，本文构建了一种基于多种激光雷达特性组合的视觉传感器融合算法，并改进了一些相关性。本文生成的激光雷达多面组合上的面纱流程如图1所示。

图1 基于激光雷达的障碍物检测算法流程图
2.2 基于激光雷达的障碍物识别方法
(1)地面分割
在交通环境中，环境中存在很多随机干预，难以从容、整合处理。为了提高检测的有效性，必须施加一定的限制。对于车载激光雷达，分离地标是一种简单有效的预防方法。以地标为约束有以下三个优点：1）目前的算法容易识别，相对复杂，效率高；2）环境视图系统感知到的障碍物在路面上。陆域分离后，可减少系统定位所需空间，提高探测能力；3）地面参数影响云计算的影响和分类的准确性。遗传分离通常使用符号、线、面等几何方法进行。综合考虑，本项目采用RANdom Sample Model Consensus, RANSAC)进行遗传分离，该国的第一个均衡模型可以定义为：

在进行地面分割时，首先将点云中的点带入，并计算误差，根据设定的阂值筛选出初始地面点内点集合PROad，进而在初始内点集PROad上使用RANSAC算法，筛选出地面点。

(2)点云栅格化
①三维点云投影
激光雷达传感器的数据传输量十分庞大，Velodyne 64线激光雷达在双响应模式下每秒产生的3D扫描信号数量可以达到220万个，即使去除地面信号，云的数据大小也保持不变，留下标记以供适当处理。因此，有必要减小原始激光雷达信号云的大小。目前，国内外广泛采用栅格映射方法来处理信号云。光栅图的主要思想是将搜索区域划分为若干个方格，然后根据符号云各点的三维坐标绘制在光栅图上。要制作光栅图，首先要确定网格的大小，因为点云离雷达中心比较近，稍微远一点，如果使用网格大小，光束可能不会被激光扫描，远处的格栅会产生隔音格栅并降低能见度。

到2 栅格与激光扫面线位置关系示意图
如图2所示，为确保网格中有两束激光束，距离激光雷达的距离为 d，必须调整线的大小，使其与线与激光雷达中心的距离相等。由于靠近激光雷达水平面的激光束之间的夹角很小，根据弧长模型可以得到晶格长度的最小值Gmin:

式中:为相邻两束激光线之间的水平夹角。在申请过程中，根据情况，考虑到计算机中存储的栅格的内存问题，选择一个最大尺寸的格网。
2.3 卷积神经网络
（1）卷积神经网络的组成
卷积神经网络是深度学习方法中最主要的模型之一，这意味着有许多不同的网络层，从功能上来看，这些网络层可以分为两部分：信号层和解密层。编码层有多个复合层，激活函数和复合层去除图像的高层抽象特征；拆卸层有多层保护层、复合层和全部复合层。研究信号层传递的特征数据，产生预测结果。下面简单解释一下每个网络层的原理和作用，卷积层 卷积层是卷积神经网络的核心，它利用卷积核对数据进行卷积函数，提取高层抽象特征的数据。如图3所示，卷积层首先通过卷积纹理对数据场的任意部分进行卷积函数。总结。卷积操作完成后，将卷积块移动到另一个具有walk长度的数据域继续卷积操作，直到整个数据块被交叉，结果产生卷积oti。在网络设计中，使用了几个卷积层来获得更深入的图像映射，以提高网络的准确预测。

图3 卷积操作
从卷积的具体操作过程可以看出，卷积函数是提取数据的高级抽象特征和近似数据的关系特征。随着卷积神经网络的发展，除了普通的卷积函数外，研究人员还考虑了更高效的运动类型，例如卷积扩展和非对称卷积，以改进网络功能，并解决特定问题。
（2）卷积神经网络
①卷积神经网络原理
卷积神经网络借助卷积运算操作的优势，与数据序列相关的数据有本地关联(最近的数据有更强的关联)，因此可以用CNN来处理它们的本地特性[19]。CNN的基本结构，如图4所示，主要包含卷积层与池化层。

图4 卷积神经网络结构图
卷积层是在视觉中枢存在生物的感受中，这一研究结果的启发而构建，为了抽象地表达原始数据[20]，在字段内感知到的信息的折叠是通过开发适合大小的高质量抽样检查来产生的。输入x数据时，卷积层的特征图C可表示如下:

式中，为卷积操作;W为卷积核的权重向量;h表示偏移量;本文中为Relu函数，可以选用的还有sigmoid , tank等。池化层对卷积输出施行下采样操作，保持强壮的特征，移除虚弱的特征，同时减少参数数量，防止过度相似[21]。

3 车载激光雷达与视觉传感器融合的障碍物识别方法
3.1 车载激光雷达
车载激光雷达又称车载三维激光扫描仪，它具有移动式 3D 激光扫描系统，是最有效的城市建模工具之一。三维激光扫描仪利用高速和线性激光加速的特性产生激光，并获得返回的信息来描述被测物物理表面的外观。由于测量反射的可变性，反馈分为强区和弱区。所谓三维就是利用扫描仪的水平旋转来覆盖整个区域。这个过程与 360 度全景照片非常相似。不同的是，我们得到的“烂片”不是形状，而是由数千个信号组成的屏幕形状，数量上称为信号云。请参考图5所示的通道。它看起来与图片相似，但由几个激光点组成，不同颜色是激光返回不同反射的作用。

图5 建模技术
（1）DTM（Digital Terrain Model）建模技术
DTM建模技术起初是用于高速公路建设的，他的技术的主要目的是使用由 3D 激光扫描仪和其他设备扫描的“信号云”，通过适当的计算机处理来创建 3D 模型（通常将信号链接到线或帧）。这个过程可以称为提取（使用PHOTOSHOP制作的人应该知道）或表面处理。由于科学技术的发展，我们还可以在用3D激光扫描仪进行检测时，将相机与激光扫描仪同步，可以一次性获得“信号云”和“