基于事件驱动的车道线识别算法研究

doi:10.12263/DZXB.20201375

电子学报 ›› 2021, Vol. 49 ›› Issue (7): 1379-1385.DOI: 10.12263/DZXB.20201375

基于事件驱动的车道线识别算法研究

徐频捷¹^,², 陈逸杰³, 李之南⁴, 赵地¹

^1.中国科学院计算技术研究所, 北京 100190
^2.中国科学院大学, 北京 100049
^3.北京邮电大学信息与通信工程学院, 北京 100876
^4.北京邮电大学国际学院, 北京 100876

收稿日期:2020-12-01 修回日期:2021-02-22 出版日期:2021-07-25
- 通讯作者:
- 赵地
- 作者简介:
- 徐频捷　男，1997年生于江西上饶.现为中科院计算技术研究所硕士研究生.E‑mail:xupinjie19g@ict.ac.cn
  陈逸杰　男，1999年生于云南昆明.现为北京邮电大学信息与通信工程学院本科生.E‑mail:yj‑chen@bupt.edu.cn
  李之南　男，1998年生于新疆乌鲁木齐.现为北京邮电大学本科生.主要研究方向为深度学习加速器，机器学习.E‑mail:a710859414@bupt.edu.cn
  赵　地（通信作者）　男, 1978年生于湖南岳阳. 现为中科院计算技术研究所副研究员，主要研究方向为类脑计算和深度学习.E‑mail: zhaodi@ncic.ac.cn
- 基金资助:
- 国家自然科学基金 (61420106013); 北京市自然科学基金 (4161004); 北京市科技项目 (Z161100000216143)

Research on Event‑Driven Lane Recognition Algorithms

XU Pin-jie¹^,², CHEN Yi-jie³, LI Zhi-nan⁴, ZHAO Di¹

^1.Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China
^2.University of Chinese Academy of Sciences, Beijing 100049, China
^3.School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China
^4.International School, Beijing University of Posts and Telecommunications, Beijing 100876, China

Received:2020-12-01 Revised:2021-02-22 Online:2021-07-25 Published:2021-08-11
- Corresponding author:
- ZHAO Di
- Supported by:
- National Natural Science Foundation of China (61420106013); National Natural Science Foundation of Beijing Municipality, China (4161004); Science and Technology Program of Beijing municipality (Z161100000216143)

摘要/Abstract

摘要：

动态视觉传感器（Dynamic Vision Sensor，DVS）相比于传统彩色相机有更高的时间分辨率、动态范围，且功耗更低、带宽更低，在自动驾驶领域有很好的应用前景，因此吸引了越来越多研究者的注意.然而由于事件驱动的数据是异步的且缺少一种统一的表示形式，在复杂的交通场景下，以车道检测为代表的基于事件驱动数据的交通场景分割任务难以应用传统的语义分割算法.针对以上问题，本文提出了一种三通道的事件数据编码方式，综合考虑事件数据的时空特征，将其作为卷积神经网络的输入；提出了一种基于编解码模型的事件数据车道检测算法，在基于事件驱动的车道线检测数据集DET上，本文方法的mIoU（mean Intersection over Union）达到了58.76%，比基准方法提高了4.4%.

关键词: 事件驱动, 卷积神经网络, 车道线检测, 编解码模型, 语义分割, 动态视觉传感器, 事件表示

Abstract:

Compared with the traditional color cameras, the dynamic vision sensor, a type of event?based sensor, has higher time resolution, dynamic range, lower power consumption and lower bandwidth requirements. It has good application prospects in the field of automatic driving, which attracts more and more researchers’ attention. However, event?driven data is asynchronous and lacks a unified representation. At the same time, in the complex traffic scenario, the traditional semantic segmentation model is difficult to be applied to the event?driven data?based traffic scene segmentation task, for instance, the lane detection task. In view of the above problems, our study proposes a three?channel encoding method for event data, which is successfully used as the input of convolution neural network by considering the spatio?temporal characteristics of event data comprehensively. This paper also proposes a lane segmentation algorithm based on encoding?decoding model, which is superior to the traditional event?based lane line segmentation. On the DET data set, with mIoU(mean Intersection over Union) as the evaluation index, this paper reaches 58.76%, which is 4.4% higher than the benchmark.

Key words: event?based, convolution neural network, lane detection, encoder?decoder model, semantic segmentation, dynamic vision sensor, event representation

中图分类号:

TP391.4

徐频捷, 陈逸杰, 李之南, 等. 基于事件驱动的车道线识别算法研究[J]. 电子学报, 2021, 49(7): 1379-1385.

Pin-jie XU, Yi-jie CHEN, Zhi-nan LI, et al. Research on Event‑Driven Lane Recognition Algorithms[J]. Acta Electronica Sinica, 2021, 49(7): 1379-1385.

图/表 8

图1 编解码模型的整体结构

图2 修改后的Xception网络，图中灰色部分连接编码块

图3 解码块结构

图4 三通道数据编码结果

图5 道路分割结果展示

图6 本方法与其他方法的分割效果比较

表1 目前主流算法在DET数据集上的车道分割表现，以mIoU(%)为评价指标

方法	mIoU
FCN	47.36
DeepLabv3	47.30
RefineNet	50.29
LaneNet	53.59
SCNN	56.29
本方法	58.76

表2 事件数据的编码方式对算法性能的影响

编码方式	mIoU
直方图编码（H）	53.41
时间信息编码（M+S）	21.37
融合时空信息编码（H+M+S）	58.76

参考文献 21

1	HILLELA B， LERNERR， et al. Recent progress in road and lane detection： a survey［J］. Machine Vision and Applications， 2014， 25（3）： 727 - 745.
2	GALLEGOG， LUNDJ E A， et al. Event‑based， 6‑DOF camera tracking from photometric depth maps［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（10）： 2402 - 2412.
3	CHENN F Y. Pseudo‑labels for supervised learning on dynamic vision sensor data， applied to object detection under ego‑motion［A］. Proceedings 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops［C］. Salt Lake City： IEEE， 2018. 757 - 766.
4	BINASJ， NEILD， et al. DDD17： End‑to‑end DAVIS Driving Dataset［EB/OL］. ， 2017.
5	CHENGW， LUOH， et al. DET： a high‑resolution DVS dataset for lane extraction［A］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops［C］. Long Beach： IEEE， 2019. 1666 - 1675.
6	ALONSOI， MURILLOA C. EV‑SegNet： semantic segmentation for event‑based cameras［A］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops［C］. Long Beach： IEEE， 2019. 1624 - 1633.
7	成春阳，黄渊博，等. 基于主动红外滤光环视成像的车道线检测算法［J］. 激光与光电子学进展， 2018， 55（12）： 288 - 296.
	CHENGChun‑yang， HUANGYuan‑bo， et al. Lane detection based on active infrared filter and around‑view imaging［J］. Laser & Optoelectronics Progress， 2018， 55（12）： 288 - 296.（in Chinese）
8	王正家，王若，等. 夜间车道线检测的研究［J］. 现代电子技术， 2020， 43（24）： 26 - 29.
	WANGZheng‑jia， WANGRuo， et al. Research on nighttime lane detection［J］. Modern Electronics Technique， 2020， 43（24）： 26 - 29.（in Chinese）
9	罗强，王国胤，等. 复杂光照下的缩微道路车道线检测方法［J］. 计算机科学， 2014， 41（03）： 46 - 49，70.
	LUOQiang， WANGGuo‑yin， et al. Lane detection in micro‑traffic under complex illumination［J］. Computer Science， 2014， 41（03）： 46 - 49，70.（in Chinese）
10	NEVEND， DEB B， et al. Towards end‑to‑end lane detection： an instance segmentation approach［A］. 2018 IEEE Intelligent Vehicles Symposium［C］. Changshu： IEEE， 2018. 286 - 291.
11	PANX， SHIJ， et al. Spatial as deep： spatial CNN for traffic scene understanding［A］. 32nd AAAI Conference on Artificial Intelligence［C］. New Orleans： AAAI， 2018. ‏7276 - 7283.
12	吴一全，刘莉. 基于视觉的车道线检测方法研究进展［J］. 仪器仪表学报， 2019， 40（12）： 92 - 109.
	WUYi‑quan， LIULi. Research and development of the vision‑based lane detection methods［J］. Chinese Journal of Scientific Instrument， 2019， 40（12）： 92 - 109.（in Chinese）
13	NGUYENA， DO T T， et al. Real‑time 6‑DOF pose relocalization for event cameras with stacked spatial LSTM networks［A］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops［C］. Long Beach： IEEE， 2019. 1638 - 1645.
14	LONGJ， SHELLHAMERE， et al. Fully convolutional networks for semantic segmentation［A］. 2015 IEEE Conference on Computer Vision and Pattern Recognition［C］. Boston： IEEE， 2015. 3431 - 3440.
15	CHOLLETF. Xception： deep learning with depthwise separable convolutions［A］. 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition［C］. Honolulu： IEEE， 2017. 1251 - 1258.
16	HOWARDA G， ZHUM， et al. Mobilenets： Efficient Convolutional Neural Networks for Mobile Vision Applications［EB/OL］. ， 2017.
17	ESWARANK P， TARJANR E. Augmentation problems［J］. SIAM Journal on Computing， 1976， 5（4）： 653 - 665.
18	ABADIM， BARHAMP， et al. Tensorflow： a system for large‑scale machine learning［A］. Proceedings of OSDI’16： 12th USENIX Symposium on Operating Systems Design and Implementation［C］. Savannah： USENIX Association， 2016. 265 - 283.
19	LIUL， JIANGH， et al. On the Variance of the Adaptive Learning Rate and Beyond［EB/OL］. ， 2019.
20	CHENL C， ZHUY， et al. Encoder‑decoder with atrous separable convolution for semantic image segmentation［A］. Computer Vision‑ECCV 2018， PT VII［C］. Munich： Springer， 2018. 801 - 818.
21	LING， MILANA， et al. Refinenet： multi‑path refinement networks for high‑resolution semantic segmentation［A］. 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition［C］. Honolulu： IEEE， 2017. 1925 - 1934.

[1]	黄赟, 张帆, 郭威, 陈立, 羊光. 一种基于数据标准差的卷积神经网络量化方法[J]. 电子学报, 2023, 51(3): 639-647.
[2]	吕杭, 蒋明峰, 李杨, 张鞠成, 王志康. 基于混合时频域特征的卷积神经网络心律失常分类方法的研究[J]. 电子学报, 2023, 51(3): 701-711.
[3]	许新征, 李杉. 基于特征膨胀卷积模块的轻量化技术研究[J]. 电子学报, 2023, 51(2): 355-364.
[4]	丁琪, 田萱, 孙国栋. 基于注意力增强的热点感知新闻推荐模型[J]. 电子学报, 2023, 51(1): 93-104.
[5]	张永梅, 孙捷. 基于动静态特征双输入神经网络的咳嗽声诊断COVID-19算法[J]. 电子学报, 2023, 51(1): 202-212.
[6]	袁海英, 成君鹏, 曾智勇, 武延瑞. Mobile_BLNet：基于Big-Little Net的轻量级卷积神经网络优化设计[J]. 电子学报, 2023, 51(1): 180-191.
[7]	吴靖, 叶晓晶, 黄峰, 陈丽琼, 王志锋, 刘文犀. 基于深度学习的单帧图像超分辨率重建综述[J]. 电子学报, 2022, 50(9): 2265-2294.
[8]	毛国君, 王者浩, 黄山, 王翔. 基于剪边策略的图残差卷积深层网络模型[J]. 电子学报, 2022, 50(9): 2205-2214.
[9]	袁海英, 曾智勇, 成君鹏. 面向灵活并行度的稀疏卷积神经网络加速器[J]. 电子学报, 2022, 50(8): 1811-1818.
[10]	徐兴荣, 刘聪, 李婷, 郭娜, 任崇广, 曾庆田. 基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法[J]. 电子学报, 2022, 50(8): 1975-1984.
[11]	王相海, 赵晓阳, 王鑫莹, 赵克云, 宋传鸣. 非抽取小波边缘学习深度残差网络的单幅图像超分辨率重建[J]. 电子学报, 2022, 50(7): 1753-1765.
[12]	张志文, 刘天歌, 聂鹏举. 基于实景数据增强和双路径融合网络的实时街景语义分割算法[J]. 电子学报, 2022, 50(7): 1609-1620.
[13]	张波, 陆云杰, 秦东明, 邹国建. 一种卷积自编码深度学习的空气污染多站点联合预测模型[J]. 电子学报, 2022, 50(6): 1410-1427.
[14]	丁毅, 沈薇, 李海生, 钟琼慧, 田明宇, 李洁. 面向CNN的区块链可信隐私服务计算模型[J]. 电子学报, 2022, 50(6): 1399-1409.
[15]	廖勇, 李玉杰. 一种轻量化低复杂度的FDD大规模MIMO系统CSI反馈方法[J]. 电子学报, 2022, 50(5): 1211-1217.

基于事件驱动的车道线识别算法研究

Research on Event‑Driven Lane Recognition Algorithms

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 21

相关文章 15

编辑推荐

Metrics