3d546b2205c2fab465a07687c720f5d8.gif

向AI转型的程序员都关注公众号 机器学习AI算法工程

本文主要工作:

科技的发展与进步促使自动驾驶车辆逐渐成为全球汽车产业发展的重要战略 方向。但自动驾驶车辆面对如:大雨、大雾、大雪等极端环境时,智能汽车图像采集与处理系统将面临巨大挑战。

并且自动驾驶需要实时关注周围物体的威胁, 实时进行目标检测以及精确测量周围目标的距离是提高汽车安全性的可行之策。

**本文首先训练出一种天气分类模型,实时识别当下天气情况。

其次针对不同天气 情况则采取不同的图像去噪方法来提高图像质量。

天气前处理完成后将采取改进 的 Yolo 模型对前方行人、车辆等道路环境目标进行目标检测。

最后对目标检测定 位到的物体采用改进目标点的测距方法进行距离测量,为自动驾驶主动安全行为 提供支持。

总结:本文完成了去雾、去雨、去雪,目标检测与车辆距离测量。运用了yoloV3目标检测,单目测距,prescan仿真。

1.天气分类

为了实时识别出当下的天气情况,利用卷积神经网络搭建了天气分类模型。针对搜集到的天气图像数量少且不具代表性的问题,通过改进 mosaic 和图像合成 手段进行数据增强与扩充。为了提升模型精度,将数据集划分成 6 种大小不同的 批尺寸,改进激活函数并引入模型优化方案。最终将数据集输送到天气分类模型 训练后得到了良好的权重系数。该模型可以对实时出现的晴天、雨天、雾天、雪 天四种天气进行识别分类,分类精确度可达 93.46%。

mosic天空区域图像增强:

466394642b4f2281acbd4cc0d3d7df79.png


数据增强主要代码部分:

e94d8117d72d66d037c9e8b0ae3db8bb.png

46b05c78d37ee737fa3e5e154fba868f.png

四种天气数据集:

当涉及到自动驾驶技术时,天气数据的作用更加显著。以下是天气数据在自动驾驶中的几个重要作用:

预测能见度和道路状况:天气数据可以提供当前和未来的能见度信息以及道路的湿滑程度、积雪情况等。这对于自动驾驶车辆的感知和决策非常重要,因为它们需要根据道路状况调整行驶速度和操控方式,以确保安全驾驶。

优化路径规划和行驶策略:天气数据可以为自动驾驶车辆提供实时的气象信息,例如风速、降水情况和温度变化等。基于这些数据,自动驾驶系统可以选择最佳的路径规划和行驶策略,以应对不同的天气条件,并提供更加安全和高效的驾驶体验。

调整车辆控制系统:天气数据还可以帮助自动驾驶车辆调整其控制系统,以适应不同的天气条件。例如,在下雨或结冰的天气中,车辆可能需要调整制动和驱动力分配,以确保更好的牵引力和稳定性。

提供实时警报和建议:通过实时监测天气数据,自动驾驶系统可以向驾驶员或乘客提供相关的警报和建议。例如,在遇到暴风雨或冰雪道路条件时,系统可以提醒驾驶员减速或寻找安全停靠地点。

e4f678640fc8619bf18cdfa97a2a01e5.png

天气分类代码部分:

0df031f4a9e1ac20cbc778b26543a009.png

2.极端天气下图像前处理

(1)去雾

针对不同的天气则采取不同的图像前处理方法来提升图像质量。

雾天天气 时,针对当下求解的透射率会导致去雾结果出现光晕、伪影现象,本文采用加权最小二乘法细化透射率透。

针对四叉树法得到的大气光值不精确的问题,改进四叉树法来解决上述问题。将上述得到的透射率和大气光值代入大气散射模型完成去雾处理;下图为去雾前后对比图。

去雾前:

ab6101b8fadcf85721bc282909551b4f.png

去雾后:

259e7c3cd764f56b84a254b4bfe971ac.png


去雾关键代码

60beab1a7871101b8217da2d13197d34.png

(2)去雨*

  • 面对雨天环境则采取主成分分析方法获取雨线图中雨线噪声的大小和形状信息,并将其与自适应阈值进行比较。

  • 当满足条件时,利用一种方法将雨线与之邻近的无雨背景层进行关联来达到去雨目的;

去雨流程图:

9e68822cdf4faafe50632fcb796c3876.png

去雨关键代码:

acfa0d991c2ace344a2f986df7756daa.png

73aa975ae9f2b1d7347263026f67e876.png

去雨结果:

f8f993a58c355d0645b99eda6adfdf08.png

(3)去雪*

  • 雪天天气 时,本文在去雨算法的基础上引入一种图像处理手段,完成对图像中雪斑的进一步处理。

  • 通过与经典算法定性以及定量比较,所提算法在结果中具良好的有效性和优越性。

去雪前后对比图:

7db48cc28e19c7206dfb1c160db0c29e.png

去雪关键代码:

96802346ac0e3f9d8c7966aadd4410e2.png

3.目标检测**

  • 在图像处理后加入目标检测,提高了目标检测精度以及目标数量。

    下图展现了雾天处理后的结果
    图第一列为雾霾图像,第二列为没有加入图像处理的目标检测结果图,第三列为去雾后的目标检测结果图。

    前处理前后目标检测效果对比

36f08403f4baef315925915fbb4d4175.png

4.测距研究**

为了得到距离,进行了precan仿真验证。并完成10-100m的图像采集,利用测距模型进行测量。在prescan进行了如下操作。

Prescan单目测距仿真研究

38218814c70231d2ea9e865330a269b6.jpeg

上图采集到的目标框将可以用于自己模型的计算验证。

精确的对目标进行测距可以提高汽车安全性能。为了测量出目标检测得到的物体距离,本文首先完成了世界坐标到图像坐标系的公式推导,标定了相机内外参数。针对当下侧向物体测距时测量精确度不高的问题,进行了改进。得到了以下结果:

7720eed64a9f5269887de106f64ea1e3.jpeg

机器学习算法AI大数据技术

 搜索公众号添加: datanlp

45c2cec593ccf45d31d2df6945f28487.jpeg

长按图片,识别二维码

阅读过本文的人还看了以下文章:

实时语义分割ENet算法,提取书本/票据边缘

整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主

《大语言模型》PDF下载

动手学深度学习-(李沐)PyTorch版本

YOLOv9电动车头盔佩戴检测,详细讲解模型训练

TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank,用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解,通俗易懂!

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门:基于Python的理论与实现》高清中文PDF+源码

《深度学习:基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频,从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材

笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源!CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师,你的面试为什么过不了?

前海征信大数据算法:风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类

VGG16迁移学习,实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七):图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分?

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师(共四面)通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加: datayx  

96fe24bc50f28038a923b5a1ed9b4406.jpeg

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐