GASPnet：全局一致性相位同步

近年来，Transformer 架构在人工智能的大多数领域取得了突破，依赖基于键和查询之间一致性的注意力机制来选择和路由网络中的信息。在先前的工作中，我们引入了一种受大脑启发的新型架构，利用类似的实现方式来实现全局“依据一致性路由”机制。该系统通过匹配每个神经元的键与整个网络中池化的单个全局查询来调制网络活动。作为全局注意力系统，该机制在基线水平上提高了对噪声的鲁棒性，但对于多分类任务仍不够。本文提出了一种新机制，将 Transformer 注意力操作的某些方面与一种引人入胜的神经科学理论相结合，即同步绑定理论。该理论提出，大脑通过同步编码相关特征的神经元的时间活动来绑定这些特征。这使得可以将来自相同物体的特征绑定在一起，同时有效地分离来自不同物体的特征。我们从这一理论中获得灵感，并将角相引入卷积网络的所有层。通过 Kuramoto 动力学实现相位对齐后，我们使用该方法来增强具有相似相位的神经元之间的操作，并抑制具有相反相位的神经元之间的操作。我们在两个数据集上测试了该机制的益处：一个由数字对组成，另一个由 MNIST 项目叠加在 CIFAR-10 图像上的组合组成。我们的结果显示，GASPnet 的准确率优于 CNN 网络，更抗噪声，且更具泛化能力。总体而言，我们提出了一种新机制，通过利用神经科学与机器学习之间的协同作用，解决了神经网络中的视觉绑定问题。