球形 Transformer

使用卷积神经网络处理 360° 图像可能会因平面投影带来的畸变而导致次优性能。当对 360° 图像施加旋转时，畸变会进一步加剧。因此，许多基于卷积的研究试图减少畸变以学习精确的表示。相比之下，我们利用 Transformer 架构来解决 360° 图像的分类问题。使用所提出的针对 360° 图像的 Transformer 有两个优点。首先，我们的方法通过从球面采样像素，无需进行容易出错的平面投影过程。其次，我们基于正多面体的采样方法能产生较低的旋转等变性误差，因为特定的旋转可以简化为面的置换。在实验中，我们从以下两个方面验证了我们的网络。首先，我们展示了使用具有高度均匀采样方法的 Transformer 有助于减少畸变。其次，我们证明了 Transformer 架构可以在特定旋转上实现旋转等变性。我们使用 SPH-MNIST、SPH-CIFAR 和 SUN360 数据集将我们的方法与其他最先进的算法进行了比较，并表明我们的方法与其他方法相比具有竞争力。