基于图注意力机制与最大互信息的科技文献无监督语义表示学习
信息检索
2023-01-31 v2
摘要
由于大多数科技文献数据无标注，这使得无监督的基于图的语义表示学习至关重要。为此，提出一种基于图注意力机制与最大互信息（GAMMI）的科技文献无监督语义表示学习方法。通过引入图注意力机制，邻近节点特征的加权求和使相邻节点特征的权重完全取决于节点特征。依据邻近节点特征，可对图中各节点施加不同权重，从而更好地将顶点特征间的相关性整合进模型。此外，提出一种无监督图对比学习策略，以解决无标注及在大规模图上可扩展的问题。通过在潜空间中对正、负局部节点表示与全局图表示之间的互信息进行比较，图神经网络可同时捕获局部与全局信息。实验结果表明该方法在各节点分类基准上具有竞争力，取得了良好效果，有时甚至超越监督学习的性能。
引用
@article{arxiv.2210.03292,
title = {Unsupervised Semantic Representation Learning of Scientific Literature Based on Graph Attention Mechanism and Maximum Mutual Information},
author = {Hongrui Gao and Yawen Li and Meiyu Liang and Zeli Guan},
journal= {arXiv preprint arXiv:2210.03292},
year = {2023}
}