MaskLRF：通过局部参考系的掩码自编码实现旋转不变 3D 点集分析的自监督预训练
计算机视觉与模式识别
2024-05-24 v2
摘要
继视觉和语言领域取得成功之后，通过对 3D 点集数据进行掩码自编码的自监督预训练（即掩码点建模，MPM）已在各种下游任务中实现了最先进的精度。然而，当前的 MPM 方法缺乏 3D 点集分析所必需的一个属性，即对 3D 物体/场景旋转的不变性。因此，现有的 MPM 方法未必适用于 3D 点集可能具有不一致方向的现实世界应用。本文首次开发了一个用于实际 3D 点集分析的旋转不变自监督预训练框架。所提出的算法称为 MaskLRF，通过在局部参考系（LRFs）内对 3D 点进行掩码自编码，学习旋转不变且高度可泛化的潜在特征，而这些局部参考系不受 3D 点集旋转的影响。MaskLRF 通过整合利用相对姿态编码的特征细化和利用低级但丰富的 3D 几何信息的特征重建，提升了潜在特征的质量。通过在分类、分割、配准和域适应等多种下游任务上的广泛实验，验证了 MaskLRF 的有效性。我们确认，MaskLRF 在分析具有不一致方向的 3D 点集方面实现了新的最先进精度。代码将在以下地址提供：https://github.com/takahikof/MaskLRF
引用
@article{arxiv.2403.00206,
title = {MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis},
author = {Takahiko Furuya},
journal= {arXiv preprint arXiv:2403.00206},
year = {2024}
}
备注
Accepted to the IEEE Access journal