面向恶劣天气下 LiDAR 语义分割的数据增强重思考

现有的 LiDAR 语义分割方法在恶劣天气条件下常常表现下降。以往的研究通过模拟恶劣天气或在训练期间采用通用数据增强来解决此问题，但缺乏对恶劣天气如何负面影响 LiDAR 语义分割性能的深入分析和理解。针对上述问题，我们识别了恶劣天气的关键因素，并进行了玩具实验以确定性能下降的主要原因：(1) 由于雾霾或空中液滴引起的折射导致的几何扰动；(2) 由于能量吸收和遮挡导致的点云丢失。基于上述发现，我们提出了新的战略数据增强技术。首先，我们引入了选择性抖动（Selective Jittering, SJ），通过在深度（或角度）的随机范围内对点云进行抖动，以模拟几何扰动。此外，我们开发了可学习点丢弃（Learnable Point Drop, LPD），利用深度 Q 学习网络学习脆弱擦除模式，以逼近恶劣天气条件下的点丢失现象。在不进行精确天气模拟的情况下，这些技术通过暴露于我们的分析所识别的脆弱条件来增强 LiDAR 语义分割模型。实验结果确认了所提数据增强方法适用于增强对恶劣天气条件下鲁棒性。我们的方法在 SemanticKITTI-to-SemanticSTF 基准上实现了 39.5 mIoU，将基线提高了 8.1%，建立了新的 SOTA。我们的代码将在 \url{https://github.com/engineerJPark/LiDARWeather} 上发布。