核心-外围原理引导的Transformer自注意力重设计
机器学习
2023-03-29 v1 神经元与认知
摘要
设计更高效、可靠且可解释的神经网络的架构对于基于人工智能（AI）技术的研究至关重要。先前的研究通过事后分析发现，性能最佳的ANN出人意料地类似于生物神经网络（BNN），这表明ANN和BNN可能共享某些共同原理，以在机器学习或认知/行为任务中达到最优性能。受此现象启发，我们主动将BNN的组织原理注入以引导ANN的重设计。我们利用在 human brain networks 中广泛存在的核心-外围（CP）组织来引导视觉Transformer（ViT）自注意力中的信息通信机制，并将此新框架命名为CP-ViT。在CP-ViT中，节点间的注意力操作由具有核心-外围结构（CP图）的稀疏图定义，其中核心节点被重新设计和重组以发挥整合作用，并作为其他外围节点交换信息的中心。我们在多个公开数据集上评估了所提出的CP-ViT，包括医学图像数据集（INbreast）和自然图像数据集。有趣的是，通过将BNN衍生的原理（CP结构）融入ViT的重设计，我们的CP-ViT优于其他最先进的ANN。总体而言，我们的工作在三个方面推进了现有技术：1）本工作为脑启发AI提供了新见解：我们可以利用BNN中发现的原理来引导并改进我们的ANN架构设计；2）我们展示了存在导致性能显著改善的CP图的甜点；3）CP-ViT中的核心节点对应于任务相关的有意义且重要的图像块，可显著增强训练深度模型的可解释性。
引用
@article{arxiv.2303.15569,
title = {Core-Periphery Principle Guided Redesign of Self-Attention in Transformers},
author = {Xiaowei Yu and Lu Zhang and Haixing Dai and Yanjun Lyu and Lin Zhao and Zihao Wu and David Liu and Tianming Liu and Dajiang Zhu},
journal= {arXiv preprint arXiv:2303.15569},
year = {2023}
}
备注
Core-periphery, functional brain networks, ViT