LiMoE：来自汽车场景的LiDAR表征学习混合专家
计算机视觉与模式识别
2025-03-21 v2 机器学习
机器人学
摘要
LiDAR数据预训练提供了一个利用大规模可获得数据集以提升数据利用的有前景的方法。然而，现有方法主要关注稀疏体素表征，忽视了其他LiDAR表征所提供的互补属性。本文我们提出LiMoE，将混合专家(MoE)范式整合到LiDAR数据表征学习中，以协同组合多种表征，如范围图像、稀疏体素和原始点云。我们的ethods包括三个阶段：i)图像到LiDAR预训练，将来自图像的先验知识跨表征传递到点云中；ii)对比混合学习(CML)，该方法使用MoE自适应激活每个表征的相关属性，并将这些混合特征蒸馏到统一的3D网络中；iii)语义混合监督(SMS)，该方法将多个表征的语义logits组合起来以提升下游分割性能。广泛的实验在十一个大规模LiDAR数据集上表明，我们的方法有效且优越。代码已公开可用。
引用
@article{arxiv.2501.04004,
title = {LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes},
author = {Xiang Xu and Lingdong Kong and Hui Shuai and Liang Pan and Ziwei Liu and Qingshan Liu},
journal= {arXiv preprint arXiv:2501.04004},
year = {2025}
}
备注
CVPR 2025; 27 pages, 17 figures, 10 tables; Project Page at https://ldkong.com/LiMoE