通过从2D Transformer蒸馏关系先验提升跨域点分类
计算机视觉与模式识别
2024-08-06 v2
摘要
物体点云的语义模式由其局部几何构成的拓扑配置决定。由于局部区域点集的形状差异大以及全局视角下表面不完整，学习判别性表征面临挑战，这在无监督域适应（UDA）语境下问题更为严重。具体而言，传统3D网络主要关注局部几何细节，忽略了局部几何之间的拓扑结构，这大大限制了其跨域泛化能力。最近，基于Transformer的模型在诸多基于图像的任务中取得了显著性能提升，得益于其强大的泛化能力和可扩展性，这源于捕获局部图像块之间长程关联。以此为灵感，我们提出一种新颖的关系先验蒸馏（RPD）方法，从在大量图像上训练的Transformer中提取关系先验，从而显著提升跨域表征中物体的一致拓扑先验。为此，我们建立了一个在2D教师模型和3D学生模型之间共享的参数组冻结的预训练Transformer模块，并配合在线知识蒸馏策略，对3D学生模型进行语义正则化。此外，我们引入一种以重建被遮盖点云块为中心的自监督任务，使用相应的被遮盖多视角图像特征，从而赋予模型融合3D几何信息的能力。在PointDA-10和Sim-to-Real数据集上的实验表明，所提方法在点云分类的无监督域适应方面始终实现了最新的性能。该工作的源码可在 https://github.com/zou-longkun/RPD.git 访问。
关键词
引用
@article{arxiv.2407.18534,
title = {Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers},
author = {Longkun Zou and Wanru Zhu and Ke Chen and Lihua Guo and Kailing Guo and Kui Jia and Yaowei Wang},
journal= {arXiv preprint arXiv:2407.18534},
year = {2024}
}