图感知 Transformer：注意力真的是图所需要的全部吗？
机器学习
2020-06-11 v1 计算与语言
机器学习
摘要
图是在许多领域中表示关系与结构信息的自然数据结构。为了涵盖包括图分类与图生成在内的广泛图数据应用，期望拥有一个由编码器和解码器组成、能够处理图数据的通用且灵活的模型。尽管具代表性的编码器-解码器模型 Transformer 在各种任务尤其是自然语言处理中表现出优越性能，但由于图的非序列特性，它并不能直接用于图。为应对这一不兼容性，我们提出 GRaph-Aware Transformer (GRAT)，这是首个基于 Transformer、能够以端到端方式编码和解码整张图的模型。GRAT 的特点在于一种自适应于边信息的自注意力机制，以及一种基于双路径方法的自回归解码机制，该双路径由子图编码路径与针对每个解码步的节点-边生成路径组成。我们在多种设定下对 GRAT 进行了实证评估，包括基于编码器的任务（如 QM9 数据集上的分子性质预测）以及基于编码器-解码器的任务（如有机分子合成领域中的分子图生成）。GRAT 已展现出极具前景的结果，包括在 QM9 基准的 4 个回归任务上取得最先进（state-of-the-art）性能。
引用
@article{arxiv.2006.05213,
title = {Graph-Aware Transformer: Is Attention All Graphs Need?},
author = {Sanghyun Yoo and Young-Seok Kim and Kang Hyun Lee and Kuhwan Jeong and Junhwi Choi and Hoshik Lee and Young Sang Choi},
journal= {arXiv preprint arXiv:2006.05213},
year = {2020}
}