DDD20 端到端事件相机驾驶数据集：融合帧与事件数据并通过深度学习改进转向预测
计算机视觉与模式识别
2020-05-19 v1
摘要
神经形态事件相机在困难光照条件下的动态视觉问题中十分有用。为支持事件相机在汽车驾驶应用中的研究，本文报告了一个称为 DDD20 的新型端到端驾驶数据集。该数据集由 DAVIS 相机采集，其同时流式传输动态视觉传感器（DVS）亮度变化事件与有源像素传感器（APS）强度帧。DDD20 是迄今最长的事件相机端到端驾驶数据集，包含 51 小时 DAVIS 事件+帧相机数据以及车辆人类控制数据，采集自 4000km 高速公路与城市驾驶，涵盖多种光照条件。利用 DDD20，我们报告了首项采用深度学习方法融合亮度变化事件与强度帧数据以预测瞬时人类方向盘转角的研究。在所有日间与夜间条件下，基于 Resnet-32 的人类转向预测的解释方差，融合 DVS+APS 帧（0.88）显著优于单独使用 DVS（0.67）或 APS（0.77）数据。
引用
@article{arxiv.2005.08605,
title = {DDD20 End-to-End Event Camera Driving Dataset: Fusing Frames and Events with Deep Learning for Improved Steering Prediction},
author = {Yuhuang Hu and Jonathan Binas and Daniel Neil and Shih-Chii Liu and Tobi Delbruck},
journal= {arXiv preprint arXiv:2005.08605},
year = {2020}
}
备注
Accepted in The 23rd IEEE International Conference on Intelligent Transportation Systems (Special Session: Beyond Traditional Sensing for Intelligent Transportation)