MATE：掩码自编码器作为在线三维测试时学习器
计算机视觉与模式识别
2023-03-21 v3
摘要
我们的 MATE 是首个专为三维数据设计的测试时训练（TTT）方法，它使为点云分类训练的深度网络对测试数据中出现的分布偏移具有鲁棒性。与二维图像领域现有的 TTT 方法类似，MATE 也利用测试数据进行自适应。其测试时目标为掩码自编码器的目标：在将每个测试点云输入网络之前移除其大部分，令网络负责重建完整点云。网络更新后，用于对该点云进行分类。我们在多个三维物体分类数据集上测试了 MATE，结果表明它显著提升了深度网络对三维点云中几种常见 corruptions（损坏）的鲁棒性。我们展示了 MATE 在自适应所需点比例方面非常高效，给定每个测试样本少至 5% 的 tokens（令牌）即可有效自适应，使其极为轻量。我们的实验表明，MATE 通过在测试数据上稀疏自适应也取得了有竞争力的性能，这进一步降低了计算开销，使其成为实时应用的理想选择。
引用
@article{arxiv.2211.11432,
title = {MATE: Masked Autoencoders are Online 3D Test-Time Learners},
author = {M. Jehanzeb Mirza and Inkyu Shin and Wei Lin and Andreas Schriebl and Kunyang Sun and Jaesung Choe and Horst Possegger and Mateusz Kozinski and In So Kweon and Kun-Jin Yoon and Horst Bischof},
journal= {arXiv preprint arXiv:2211.11432},
year = {2023}
}
备注
Code is available at this repository: https://github.com/jmiemirza/MATE