通过自监督球面 CNN 学习定向曲面
计算机视觉与模式识别
2020-11-16 v2
摘要
为 3D 曲面定义并可靠地找到规范朝向是许多计算机视觉与机器人应用的关键。该任务通常由利用设计者认为独特且鲁棒的几何线索的手动设计算法来解决。然而，人们可以猜想，人类从经验中学习 3D 物体固有朝向的概念，而机器也可以类似地做到。在本工作中，我们展示了学习点云表示的曲面的鲁棒规范朝向的可行性。基于规范朝向的精髓性质是对 3D 旋转的等变性的观察，我们提出采用球面 CNN——一种最近引入的、可以学习定义在特殊正交群 SO(3) 上的等变表示的机制。具体而言，球面相关计算特征图，其元素定义了 3D 旋转。我们的方法通过自监督训练过程从原始数据中学习此类特征图，并鲁棒地选择一种旋转将输入点云变换到学习到的规范朝向。由此，我们实现了首个端到端学习方法，用于定义并提取 3D 形状的规范朝向，我们恰当地称之为 Compass。在多个公开数据集上的实验证明了其在定向局部曲面块以及整个物体方面的有效性。
引用
@article{arxiv.2011.03298,
title = {Learning to Orient Surfaces by Self-supervised Spherical CNNs},
author = {Riccardo Spezialetti and Federico Stella and Marlon Marcon and Luciano Silva and Samuele Salti and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2011.03298},
year = {2020}
}
备注
Accepted to NeurIPS 2020