解除图转换器中的过度聚合效应
介观与纳米尺度物理
2025-10-27 v1
摘要
图注意力已在图学习任务中显示出卓越的性能。然而，由于节点数量庞大，从全局交互中学习具有挑战性。在本文中，我们发现了一种新的现象，称为过度聚合。过度聚合是指当大量消息被聚合到单个节点且区分度较低时，导致关键消息被稀释并可能丢失信息。为解决此问题，我们提出 Wideformer，一种可即插即用的图注意力方法。Wideformer 将所有节点的聚合分为平行过程，并引导模型关注其中一部分过程的特定子集。这种划分可以限制每个聚合的输入体积，避免信息稀释并减少信息丢失。引导步骤对聚合输出进行排序和加权，优先考虑信息丰富的消息。评估表明，Wideformer 能有效缓解过度聚合。结果，底层方法能够专注于信息丰富的消息，相较于基线方法实现了卓越的性能。
关键词
引用
@article{arxiv.2510.21266,
title = {Relativistic spin-Hall effect in an external magnetic field in Al and Pt},
author = {Yu. N. Chiang and M. O. Dzyuba},
journal= {arXiv preprint arXiv:2510.21266},
year = {2025}
}