Hidden Gems：利用跨模态监督的4D雷达场景流学习
计算机视觉与模式识别
2023-03-20 v3 人工智能
机器学习
机器人学
摘要
本工作提出一种通过跨模态学习进行基于4D雷达的场景流估计的新方法。我们的方法受现代自动驾驶车辆中同址传感冗余的启发。此类冗余隐式地为雷达场景流估计提供了多种形式的监督线索。具体而言，我们针对所识别的跨模态学习问题引入一种多任务模型架构，并提出损失函数以利用多种跨模态约束来适时开展场景流估计，从而实现有效的模型训练。大量实验展示了我们方法的SOTA性能，并证明了跨模态监督学习在推断更精确的4D雷达场景流方面的有效性。我们还展示了其对两个子任务——运动分割与自运动估计——的有用性。我们的源代码将发布于 https://github.com/Toytiny/CMFlow。
引用
@article{arxiv.2303.00462,
title = {Hidden Gems: 4D Radar Scene Flow Learning Using Cross-Modal Supervision},
author = {Fangqiang Ding and Andras Palffy and Dariu M. Gavrila and Chris Xiaoxuan Lu},
journal= {arXiv preprint arXiv:2303.00462},
year = {2023}
}
备注
10 pages, 7 figures. Accepted by CVPR 2023. See our code at https://github.com/Toytiny/CMFlow. Supplementary materials can be found at https://drive.google.com/file/d/1Iewcqnjzecge2ePBM8k2tg-85LX5xs3N/view