色彩中的自注意力：在 Transformer 中编码图结构的另一种思路
机器学习
2023-04-24 v1
摘要
我们引入一种新颖的自注意力机制，称之为 CSA（色彩自注意力，Chromatic Self-Attention），它将注意力分数的概念扩展为注意力滤波器，独立地调制特征通道。我们在一个全注意力图 Transformer CGT（色彩图 Transformer，Chromatic Graph Transformer）中展示了 CSA，其集成了图结构信息与边特征，完全绕过了对局部消息传递组件的需求。我们的方法通过节点-节点交互灵活地编码图结构，利用相对位置编码方案丰富原始边特征。我们提出一种基于随机游走的新型方案，编码结构与位置信息，并展示如何融入高阶拓扑信息，例如分子图中的环。我们的方法在 ZINC 基准数据集上取得了最先进的结果，同时为编码图结构及融入高阶拓扑提供了灵活框架。
引用
@article{arxiv.2304.10933,
title = {Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers},
author = {Romain Menegaux and Emmanuel Jehanno and Margot Selosse and Julien Mairal},
journal= {arXiv preprint arXiv:2304.10933},
year = {2023}
}