基于块到场景的点云混合域专家模型用于3D自监督学习
计算机视觉与模式识别
2025-06-04 v3
摘要
点云作为3D数据的主要表征，可分为场景域点云和物体域点云。点云自监督学习(SSL)已成为学习3D表征的主流范式。然而，现有的点云SSL主要关注在单个域内学习域特定的3D表征，忽略了跨域知识的互补性，这限制了3D表征的学习。在本文中，我们提出通过块到场景预训练策略学习综合性的点云混合域专家模型(Point-MoDE)。具体而言，我们首先提出由场景域专家和多个共享物体域专家组成的混合域专家模型。进一步提出块到场景预训练策略，该策略通过对象级块遮蔽重建和场景级块位置回归，利用点云中对象的块特征来预测其在场景中的初始位置。通过整合对象和场景之间的互补知识，该策略同时促进了对象域和场景域表征的学习，导致更全面的3D表征。广泛的下游任务实验表明，我们的模型在性能上具有优势。
引用
@article{arxiv.2410.09886,
title = {Point Cloud Mixture-of-Domain-Experts Model for 3D Self-supervised Learning},
author = {Yaohua Zha and Tao Dai and Hang Guo and Yanzi Wang and Bin Chen and Ke Chen and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2410.09886},
year = {2025}
}
备注
Accepted to IJCAI 2025