通过多选令牌提升 Point-BERT
计算机视觉与模式识别
2022-08-16 v2
摘要
掩码语言建模（MLM）已成为最成功的自监督预训练任务之一。受其成功启发，Point-BERT作为点云领域的先驱工作，提出了掩码点建模（MPM）以在大规模无标注数据集上预训练点 transformer。尽管性能优异，我们发现语言与点云之间的固有差异易导致点云的分词歧义。对于点云，不存在金标准的点云分词方法。Point-BERT使用离散变分自编码器（dVAE）作为分词器，但其可能为语义相似的块生成不同令牌id，并为语义不相似的块生成相同令牌id。为解决上述问题，我们提出带有多选令牌的预训练框架McP-BERT。具体而言，我们放宽了Point-BERT中对块令牌id之前的单选择约束，并为每个块提供多选令牌id作为监督。此外，我们利用transformer学习到的高层语义进一步精炼监督信号。在点云分类、少样本分类和部件分割任务上的大量实验证明了我们方法的优越性，例如，预训练的transformer在ModelNet40上达到94.1%准确率，在ScanObjectNN最难设定下达到84.28%准确率，并在少样本学习上取得新的SOTA性能。我们还证明我们的方法不仅在所有下游任务上提升Point-BERT性能，且几乎不带来额外计算开销。代码将发布于https://github.com/fukexue/McP-BERT。
引用
@article{arxiv.2207.13226,
title = {Boosting Point-BERT by Multi-choice Tokens},
author = {Kexue Fu and Mingzhi Yuan and Manning Wang},
journal= {arXiv preprint arXiv:2207.13226},
year = {2022}
}