稀疏到稠密特征匹配：面向3D语义分割域适应的域内与域间跨模态学习
计算机视觉与模式识别
2021-08-10 v5
摘要
当面临新域中标注缺失时，域适应对于成功至关重要。由于3D点云标注过程耗时巨大，3D语义分割的域适应备受期待。随着多模态数据集的兴起，除3D点云外还可获取大量2D图像。有鉴于此，我们提出通过域内与域间跨模态学习进一步利用2D数据用于3D域适应。对于域内跨模态学习，多数现有工作将稠密2D像素级特征采样至与稀疏3D点级特征相同大小，导致大量有用2D特征被舍弃。为解决此问题，我们提出动态稀疏到稠密跨模态学习（DsCML）以提升多模态信息交互在域适应中的充分性。对于域间跨模态学习，我们进一步在包含不同语义内容的2D与3D数据上推进跨模态对抗学习（CMAL），以促进高层模态互补。我们在多种多模态域适应设定下评估了我们的模型，包括白天到夜晚、国家到国家以及数据集到数据集，在所有设定上均相较单模态与多模态域适应方法带来大幅改进。
引用
@article{arxiv.2107.14724,
title = {Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation},
author = {Duo Peng and Yinjie Lei and Wen Li and Pingping Zhang and Yulan Guo},
journal= {arXiv preprint arXiv:2107.14724},
year = {2021}
}
备注
10 pages,6 figures,accepted at ICCV 2021