基于关键点与雷达流融合的自动驾驶车辆手势识别
计算机视觉与模式识别
2023-02-21 v1
摘要
我们提出一种相机与雷达联合的方法，使自动驾驶车辆能够理解并响应日常交通中的人体手势。首先，我们用PointNet处理雷达数据，随后接一个时空多层感知机（stMLP）。与此同时，从相机帧中提取人体姿态，并用一个独立的stMLP网络处理。我们提出一种针对两种模态的融合神经网络，包含各模态的辅助损失。在使用所采集数据集的实验中，我们展示了双模态手势识别的优势。受恶劣天气条件启发，我们还展示了在某一传感器功能缺失时仍有良好性能。
引用
@article{arxiv.2302.09998,
title = {Gesture Recognition with Keypoint and Radar Stream Fusion for Automated Vehicles},
author = {Adrian Holzbock and Nicolai Kern and Christian Waldschmidt and Klaus Dietmayer and Vasileios Belagiannis},
journal= {arXiv preprint arXiv:2302.09998},
year = {2023}
}
备注
Accepted for presentation at the 3rd AVVision Workshop at ECCV 2022, October 23, 2022, Tel Aviv, Israel