利用 Transformer 及其自蒸馏学习旋转不变的 3D 点集特征的自监督方法
计算机视觉与模式识别
2024-04-22 v2 信息检索
摘要
对 3D 物体旋转的不变性在分析 3D 点集数据时是一项重要性质。具备旋转不变性的传统 3D 点集深度神经网络通常通过使用带标签的 3D 点集作为训练样本进行监督学习来获取精确的 3D 形状特征。然而，由于 3D 点集数据的快速增长与标注的高成本，亟需一种从大量无标签 3D 点集学习旋转不变 3D 形状特征的框架。本文提出一种新颖的自监督学习框架，用于在物体级别获取精确且旋转不变的 3D 点集特征。我们所提轻量型 DNN 架构将输入 3D 点集分解为多个保留构成该 3D 物体的局部形状空间布局的全局尺度区域（称为 tokens）。我们采用自注意力机制精炼这些 tokens，并将其聚合为每 3D 点集一个具表达力的旋转不变特征。我们的 DNN 通过使用自蒸馏框架生成的伪标签得以有效训练。为促进精确特征的学习，我们提出结合多裁剪（multi-crop）与 cut-mix 数据增强技术以丰富训练用 3D 点集的多样性。通过综合评估，我们实证表明：（1）为监督学习设计的现有旋转不变 DNN 架构在自监督学习场景下未必能学到精确的 3D 形状特征；（2）我们所提算法学到的旋转不变 3D 点集特征比现有算法所学更为精确。代码见 https://github.com/takahikof/RIPT_SDMM
引用
@article{arxiv.2308.04725,
title = {Self-supervised Learning of Rotation-invariant 3D Point Set Features using Transformer and its Self-distillation},
author = {Takahiko Furuya and Zhoujie Chen and Ryutarou Ohbuchi and Zhenzhong Kuang},
journal= {arXiv preprint arXiv:2308.04725},
year = {2024}
}
备注
Accepted to the CVIU journal