先回归后重建：面向点云自监督学习的回归自编码器
计算机视觉与模式识别
2023-10-06 v1
摘要
掩码自编码器(Masked Autoencoders, MAE)在 2D 和 3D 计算机视觉的自监督学习中已展现出有前景的性能。然而，现有基于 MAE 的方法仍存在一些缺陷。首先，编码器与解码器之间的功能解耦不完整，限制了编码器的表征学习能力。其次，下游任务仅利用编码器，未能充分利用通过预文本任务中编码器-解码器架构获取的知识。本文中，我们提出 Point Regress AutoEncoder (Point-RAE)，一种用于点云自监督学习的回归自编码器新方案。所提方法通过引入掩码回归器来解耦解码器与编码器之间的功能，该回归器从编码器编码的可见块表征预测掩码块表征，解码器从预测的掩码块表征重建目标。通过这种方式，我们最小化解码器更新对编码器表征空间的影响。此外，我们引入对齐约束以确保从可见块编码表征预测的掩码块表征与从编码器计算的掩码块表征相对齐。为充分利用预训练阶段学到的知识，我们为所提 Point-RAE 设计了一种新的微调模式。大量实验表明，我们的方法在预训练期间高效，并在各种下游任务上泛化良好。具体而言，我们的预训练模型在 ScanObjectNN 最难划分上达到 90.28% 的高准确率，在 ModelNet40 上达到 94.1% 的准确率，超越所有其他自监督学习方法。我们的代码和预训练模型公开可用：\url{https://github.com/liuyyy111/Point-RAE}。
引用
@article{arxiv.2310.03670,
title = {Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning},
author = {Yang Liu and Chen Chen and Can Wang and Xulin King and Mengyuan Liu},
journal= {arXiv preprint arXiv:2310.03670},
year = {2023}
}