RI-MAE：用于自监督点云表征学习的旋转不变掩码自编码器
计算机视觉与模式识别
2024-12-30 v2
摘要
掩码点建模方法最近在点云数据的自监督学习中取得了巨大成功。然而，这些方法对旋转敏感，在遇到旋转变换时通常会出现性能急剧下降。在本文中，我们提出了一种新颖的旋转不变掩码自编码器（RI-MAE）来解决两个主要挑战：1）实现旋转不变的潜在表征，以及2）以旋转不变的方式促进自监督重建。针对第一个挑战，我们引入了RI-Transformer，它具有解耦的几何内容、旋转不变的相对方向和位置嵌入机制，用于构建旋转不变的点云潜在空间。针对第二个挑战，我们设计了一种新颖的双分支学生-教师架构。它通过在学习到的旋转不变潜在空间内重建掩码块来实现自监督学习。每个分支都基于一个RI-Transformer，并通过一个额外的RI-Transformer预测器连接。教师编码所有点块，而学生仅编码未掩码的点块。最后，预测器使用学生的输出潜在嵌入来预测掩码补丁的潜在特征，并由教师的输出进行监督。大量实验表明，我们的方法对旋转具有鲁棒性，在各种下游任务上达到了最先进的性能。我们的代码可在https://github.com/kunmingsu07/RI-MAE获取。
引用
@article{arxiv.2409.00353,
title = {RI-MAE: Rotation-Invariant Masked AutoEncoders for Self-Supervised Point Cloud Representation Learning},
author = {Kunming Su and Qiuxia Wu and Panpan Cai and Xiaogang Zhu and Xuequan Lu and Zhiyong Wang and Kun Hu},
journal= {arXiv preprint arXiv:2409.00353},
year = {2024}
}
备注
Accepted to AAAI 2025