从晴天到暴雨：用于鲁棒 3D 物体检测的跨天气知识蒸馏
计算机视觉与模式识别
2024-02-29 v1
摘要
基于 LiDAR 的 3D 物体检测模型传统上在雨天条件下表现挣扎，这是由于扫描信号的退化和噪声所致。先前的研究试图通过模拟雨水噪声来提高检测模型的鲁棒性。然而，模拟数据与实际受雨水影响的数据点之间存在显著差异。在这项工作中，我们提出了一种名为 DRET 的新颖雨水模拟方法，该方法统一了动力学和雨天环境理论，为扩展用于 3D 检测训练的逼真雨水数据提供了一种具有成本效益的手段。此外，我们提出了一种晴到雨知识蒸馏 (SRKD) 方法，以增强雨天条件下的 3D 检测。在 WaymoOpenDataset 大规模数据集上的大量实验表明，当与最先进的 DSVT 模型和其他经典 3D 检测器结合时，我们提出的框架展示了显著的检测精度提升，且未损失效率。值得注意的是，我们的框架还提高了晴天条件下的检测能力，因此无论天气是雨天还是晴天，都为 3D 检测提供了鲁棒的解决方案。
引用
@article{arxiv.2402.18493,
title = {Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection},
author = {Xun Huang and Hai Wu and Xin Li and Xiaoliang Fan and Chenglu Wen and Cheng Wang},
journal= {arXiv preprint arXiv:2402.18493},
year = {2024}
}
备注
Accepted by AAAI2024