改进基于域迁移的3D语义分割多模态蒸馏
计算机视觉与模式识别
2025-11-24 v1
摘要
在为一种类型的激光雷达完全监督训练的语义分割网络，缺乏对未见激光雷达的泛化能力。为缩小域迁移下的性能差距，近期趋势是利用视觉基础模型（VFMs）提供跨域稳健特征。在本工作中，我们进行详尽的研究，识别在激光雷达点云语义分割中利用VFMs进行无监督域适应的配方。基于无监督图像到激光雷达知识蒸馏，我们的研究揭示了：(1)激光雷达背板的架构是最大化在目标域上获取最佳泛化性能的关键；(2)可以一次性预训练单个背板，用于解决多个域迁移问题；(3)最佳结果通过保持预训练背板冻结并训练一个MLP头部来实现语义分割。所得管道在四个广泛认可且具有挑战性的设置下实现了最先进的结果。代码将在 https://github.com/valeoai/muddos 提供。
引用
@article{arxiv.2511.17455,
title = {Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift},
author = {Björn Michele and Alexandre Boulch and Gilles Puy and Tuan-Hung Vu and Renaud Marlet and Nicolas Courty},
journal= {arXiv preprint arXiv:2511.17455},
year = {2025}
}
备注
Accepted at BMVC 2025