一图值 $K$ 词：使用纯 Transformer 将图欧几里得化
机器学习
2024-05-30 v3 人工智能
社会与信息网络
摘要
我们能否将非欧几里得图建模为纯语言甚至欧几里得向量，同时保留其内在信息？非欧几里得特性在图建模中构成了长期挑战。尽管近期的图神经网络和图 Transformer 努力将图编码为欧几里得向量，但从向量恢复原始图仍然是一个挑战。在本文中，我们引入了 GraphsGPT，其特色在于一个 Graph2Seq 编码器，能将非欧几里得图转换为欧几里得空间中可学习的 Graph Words，以及一个 GraphGPT 解码器，从 Graph Words 重建原始图以确保信息等价。我们在 M 分子上预训练 GraphsGPT 并得出了一些有趣的发现：（1）预训练的 Graph2Seq 在图表示学习方面表现卓越，在 项图分类和回归任务上取得了 SOTA 结果。（2）预训练的 GraphGPT 作为强大的图生成器，其在执行少样本和条件图生成方面的强大能力证明了这一点。（3）Graph2Seq+GraphGPT 在欧几里得空间中实现了有效的图 mixup，克服了先前已知的非欧几里得挑战。（4）以边为中心的预训练框架 GraphsGPT 证明了其在图领域任务中的有效性，在表示和生成两方面均表现出色。代码可在 \href{https://github.com/A4Bio/GraphsGPT}{GitHub} 获取。
关键词
引用
@article{arxiv.2402.02464,
title = {A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer},
author = {Zhangyang Gao and Daize Dong and Cheng Tan and Jun Xia and Bozhen Hu and Stan Z. Li},
journal= {arXiv preprint arXiv:2402.02464},
year = {2024}
}