基于Masking Graph Transformer的大规模推荐
信号处理
2024-05-22 v2
摘要
Graph Transformers因其卓越的捕获节点之间长程依赖能力而受到广泛关注。然而，二次空间和时间复杂度阻碍了Graph Transformer在大规模推荐中的可扩展性。本文提出一种高效的Masked Graph Transformer，命名为MGFormer，能够以线性复杂度捕获所有节点间的相互作用。为实现此目标，我们将所有用户/项目节点视为独立标记，增强其位置嵌入，并输入到一种核化注意力模块中。此外，我们纳入可学习的相对度信息，以适当地对注意力进行重新加权。实验结果表明，MGFormer在性能方面具有优势，即使仅使用单个注意力层。
引用
@article{arxiv.2405.04027,
title = {Joint Visibility Region Detection and Channel Estimation for XL-MIMO Systems via Alternating MAP},
author = {Wenkang Xu and An Liu and Min-jian Zhao},
journal= {arXiv preprint arXiv:2405.04027},
year = {2024}
}
备注
13 pages, 14 figures, submitted to IEEE TSP