基于分割掩码迁移的深度时空网络在变道视频片段中的危险行为识别
计算机视觉与模式识别
2020-02-04 v2 人工智能
机器学习
图像与视频处理
摘要
高级驾驶辅助与自动驾驶系统依赖风险估计模块来预测并避免危险情形。现有方法采用昂贵的传感器配置与复杂的处理流程，限制了其可用性与鲁棒性。为解决这些问题，我们提出一种基于深度学习的动作识别框架，用于对单目相机拍摄的短视频片段中的危险变道行为进行分类。我们设计了一个深度时空分类网络，采用预训练的最先进实例分割网络 Mask R-CNN 作为该任务的空间特征提取器。所提方法的长短期记忆（LSTM）网络与较浅的最终分类层在一个带有风险标注的半自然变道数据集上进行了训练。我们对多种最先进特征提取器进行了全面比较，以寻找最佳网络结构与训练策略。采用所提网络取得了最佳结果，AUC 得分为 0.937。我们的代码与训练模型已开源。
引用
@article{arxiv.1906.02859,
title = {Risky Action Recognition in Lane Change Video Clips using Deep Spatiotemporal Networks with Segmentation Mask Transfer},
author = {Ekim Yurtsever and Yongkang Liu and Jacob Lambert and Chiyomi Miyajima and Eijiro Takeuchi and Kazuya Takeda and John H. L. Hansen},
journal= {arXiv preprint arXiv:1906.02859},
year = {2020}
}
备注
8 pages, 3 figures, 1 table. The code is open-source