基于对比蒸馏的自监督点云表征学习
计算机视觉与模式识别
2022-02-10 v1
摘要
本文提出一种简单通用的自监督点云表征学习框架。人类通过提取两个层次的信息并建立二者之间的关系来理解三维世界：一是物体的全局形状，二是其局部结构。然而，现有点云表征学习研究很少探讨如何在无特定网络架构的情况下同时学习全局形状与局部到全局的关系。受人类认知世界的启发，我们利用知识蒸馏同时学习全局形状信息以及全局形状与局部结构之间的关系。同时，我们将对比学习(contrastive learning)与知识蒸馏相结合，使教师网络得到更好的更新。我们的方法在线性分类及多个其他下游任务上取得了最先进(state-of-the-art, SOTA)性能。特别地，我们开发了用于三维点云特征提取的 ViT 变体，与我们的框架结合时也取得了与现有骨干网络相当的结果；注意力图可视化表明，我们的模型确实通过结合全局形状信息与多个局部结构信息来理解点云，这与我们表征学习方法的灵感一致。我们的代码将很快发布。
引用
@article{arxiv.2202.04241,
title = {Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning},
author = {Kexue Fu and Peng Gao and Renrui Zhang and Hongsheng Li and Yu Qiao and Manning Wang},
journal= {arXiv preprint arXiv:2202.04241},
year = {2022}
}