TransDARC：基于Transformer的驾驶员活动识别与潜在空间特征校准
计算机视觉与模式识别
2022-07-29 v2 机器人学
图像与视频处理
摘要
传统的基于视频的人体活动识别随着深度学习的兴起取得了显著进展，但在驾驶员行为理解这一下游任务中，这一效应却较为缓慢。理解车辆座舱内的情况对于高级驾驶辅助系统（ADAS）至关重要，因为它能够识别分心、预测驾驶员意图并促成更便捷的人机交互。同时，驾驶员观察系统面临巨大障碍，因为它们需要捕捉不同粒度的驾驶员状态，而随着自动化程度的提高和驾驶员自由度的增加，此类次要活动的复杂性也随之增长。此外，由于传感器位置和类型因车辆而异，模型很少在与训练集完全相同的条件下部署，这构成了数据驱动模型实际部署的重大障碍。在这项工作中，我们提出了一种新颖的基于视觉的框架，用于识别次要驾驶员行为，该框架基于视觉Transformer和一个额外的增强特征分布校准模块。该模块在潜在特征空间中运作，在特征层面丰富和多样化训练集，以提高对新颖数据外观（例如传感器变化）的泛化能力和整体特征质量。我们的框架持续带来更好的识别率，在公开的Drive&Act基准测试的所有粒度级别上均超越了先前的最先进结果。我们的代码可在https://github.com/KPeng9510/TransDARC公开获取。
引用
@article{arxiv.2203.00927,
title = {TransDARC: Transformer-based Driver Activity Recognition with Latent Space Feature Calibration},
author = {Kunyu Peng and Alina Roitberg and Kailun Yang and Jiaming Zhang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2203.00927},
year = {2022}
}
备注
Accepted to IROS 2022. Code is publicly available at https://github.com/KPeng9510/TransDARC