释放 Transformer 在图上的威力
机器学习
2022-02-23 v1 人工智能
摘要
尽管在自然语言处理与计算机视觉中取得了近期成功，Transformer 在处理图时面临可扩展性问题。对于大规模图（如知识图谱），计算复杂度令人难以接受。一种解决方案是仅考虑近邻，但这将丧失 Transformer 关注任意距离元素的关键优势。在本文中，我们提出一种名为双编码 Transformer（DET）的新 Transformer 架构。DET 具有一个结构编码器以从相连邻居聚合信息，以及一个语义编码器以聚焦于语义上有用的远距离节点。与求助于多跳邻居相比，DET 通过自监督训练寻找所需的远距离邻居。我们进一步发现这两个编码器可相互结合以提升彼此性能。我们的实验表明，在处理不同大小的分子、网络和知识图谱时，DET 相比各自最先进（SOTA）方法均取得了优越性能。
引用
@article{arxiv.2202.10581,
title = {Unleashing the Power of Transformer for Graphs},
author = {Lingbing Guo and Qiang Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2202.10581},
year = {2022}
}
备注
8 pages, under review