LiOn-XA: 基于 LiDAR-Only 跨模态对抗训练的无监督域适应方法
计算机视觉与模式识别
2024-10-22 v1
摘要
本文提出了 LiOn-XA，一种结合 LiDAR-Only 跨模态 (X) 学习和对抗训练的无监督域适应 (UDA) 方法，用于 3D 激光点云语义分割，以弥合源于环境和传感器 setup 变化而产生的域间差距。不同于现有工作利用点云和 RGB 图像数据等多种数据模态，本文聚焦于在 RGB 图像可能不可用的场景下的 UDA，展示了两种不同的 LiDAR 数据表示如何彼此学习以实现 UDA。具体而言，我们利用 3D 体素化点云以保留重要几何结构，结合基于 2D 投影的范围图像，该图像提供有关物体方向或表面的信息。为进一步对齐两域之间的特征空间，我们对两种 2D 和 3D 神经网络的特征和预测应用对抗训练。我们的实验在 3 个真实到真实的适应场景中表现出色，实现了与以往单模态和多模态 UDA 方法相比的全新状态-of-the-art 性能。我们的源代码已公开于 https://github.com/JensLe97/lion-xa。
引用
@article{arxiv.2410.15833,
title = {LiOn-XA: Unsupervised Domain Adaptation via LiDAR-Only Cross-Modal Adversarial Training},
author = {Thomas Kreutz and Jens Lemke and Max Mühlhäuser and Alejandro Sanchez Guinea},
journal= {arXiv preprint arXiv:2410.15833},
year = {2024}
}
备注
Preprint, Paper has been accepted at IROS2024