GQWformer：基于量子计算的图表示学习 Transformer
机器学习
2024-12-04 v1 人工智能
摘要
图 Transformer (GT) 通过其全局注意力机制在图表示学习中展现出显著优势。然而，GT 中的自注意力机制倾向于忽略图结构中固有的归纳偏置，导致难以有效捕获关键结构信息。为此，我们提出一种通过利用量子技术进行结构编码来将图归纳偏置整合到自注意力机制中的新方法。本文引入图量子漫步 Transformer（GQWformer），这是一种革命性的图神经网络框架，利用对赋予属性的图进行量子漫步以生成节点量子态。这些量子态封装了丰富的结构属性，作为归纳偏置为 Transformer 提供支持，从而 enables 生成更有意义的注意力得分。随后，我们引入循环神经网络以放大模型对局部和全局信息的关注能力。我们在五个公开数据集上进行了全面实验以评估该模型的有效性。结果清晰表明，GQWformer 在现有 SOTA 图分类算法中取得优异性能。这些发现凸显了将量子计算方法与传统图神经网络集成以推动图表示学习领域发展的巨大潜力，为未来的研究和应用指明了有前景的方向。
关键词
引用
@article{arxiv.2412.02285,
title = {GQWformer: A Quantum-based Transformer for Graph Representation Learning},
author = {Lei Yu and Hongyang Chen and Jingsong Lv and Linyao Yang},
journal= {arXiv preprint arXiv:2412.02285},
year = {2024}
}