VN-Transformer：面向向量神经元的旋转等变注意力

旋转等变性在运动预测与 3D 感知等许多实际应用中是一种令人期望的性质，它能够带来诸如样本高效性、更好的泛化能力以及对输入扰动的鲁棒性等好处。Vector Neurons（VN，向量神经元）是近期发展的一个框架，通过将一维标量神经元扩展为三维“向量神经元”，提供了一种简单而有效的方法来推导标准机器学习操作的旋转等变类比。我们引入一种新颖的“VN-Transformer”架构，以解决当前 VN 模型的若干不足。我们的贡献是：$(i)$ 我们推导了一种旋转等变注意力机制，消除了原始向量神经元模型所需的繁重特征预处理；$(ii)$ 我们将 VN 框架扩展以支持非空间属性，扩大了这些模型在真实世界数据集上的适用性；$(iii)$ 我们推导了一种用于点云分辨率多尺度降采样的旋转等变机制，极大加速了推理与训练；$(iv)$ 我们展示了等变性上的微小折衷（$\epsilon$-近似等变性）可用于在加速硬件上获得数值稳定性与训练鲁棒性的大幅提升，并且我们对模型中违反等变性的传播给出了界。最后，我们将我们的 VN-Transformer 应用于 3D 形状分类与运动预测，取得了引人注目的结果。