将雷达数据扭曲至相机图像以实现汽车应用中的跨模态监督
计算机视觉与模式识别
2022-06-22 v2 人工智能
信号处理
摘要
我们提出了一种为汽车距离-多普勒（RD）雷达频谱真实记录自动生成语义标签的方法。训练用于雷达数据目标识别的神经网络时需要此类标签。该自动标注方法依赖于同时记录相机和激光雷达数据以及雷达频谱。通过将雷达频谱扭曲到相机图像中，可应用最先进的目标识别算法来标注相机图像中的相关物体（如汽车）。该扭曲操作被设计为完全可微分的，从而允许将在相机图像上计算的梯度通过扭曲操作反向传播至处理雷达数据的神经网络。由于扭曲操作依赖于精确的场景流估计，我们进一步提出了一种利用相机、激光雷达和雷达传感器信息的新颖场景流估计算法。所提场景流估计方法与最先进场景流算法进行比较，其在平均误差方面优于后者约 30%。通过评估用所提框架训练用于到达方向（Direction-of-Arrival）估计的神经网络性能，验证了该用于 RD 频谱自动标签生成整体框架的可行性。
引用
@article{arxiv.2012.12809,
title = {Warping of Radar Data into Camera Image for Cross-Modal Supervision in Automotive Applications},
author = {Christopher Grimm and Tai Fei and Ernst Warsitz and Ridha Farhoud and Tobias Breddermann and Reinhold Haeb-Umbach},
journal= {arXiv preprint arXiv:2012.12809},
year = {2022}
}