将序列建模为星图以缓解自注意力序列推荐中的过平滑问题
信息检索
2024-07-11 v1
摘要
自注意力（SA）机制已广泛用于开发序列推荐（SR）方法，并展现出最先进的性能。然而，在本文中，我们表明自注意力 SR 方法严重遭受过平滑问题，即序列内物品嵌入在注意力块间变得愈发相似。正如文献广泛证明的，该问题可能导致单个物品信息丢失，并显著削弱模型的可扩展性与性能。为缓解过平滑问题，本文将序列内物品视为构成星图，并提出了一种称为 MSSG 的 SR 方法。不同于现有自注意力方法，MSSG 引入一个额外的内部节点以专门捕获序列内的全局信息，且不需要物品间的信息传播。该设计从根本上解决了过平滑问题，并使 MSSG 相对于序列长度具有线性时间复杂度。我们在六个公开基准数据集上将 MSSG 与十种最先进的基线方法比较。实验结果表明 MSSG 显著优于基线方法，提升幅度高达 10.10%。我们的分析显示了 MSSG 相对于最先进自注意力方法的优越可扩展性。复杂度分析与运行时间性能比较共同表明 MSSG 在理论与实践中均比自注意力方法更高效。我们对基于 SA 方法所学注意力权重的分析表明，在稀疏推荐数据上，使用 SA 机制对所有物品对建模依赖关系带来的信息增益有限，因此可能无益于推荐性能。
引用
@article{arxiv.2311.07742,
title = {Modeling Sequences as Star Graphs to Address Over-smoothing in Self-attentive Sequential Recommendation},
author = {Bo Peng and Ziqi Chen and Srinivasan Parthasarathy and Xia Ning},
journal= {arXiv preprint arXiv:2311.07742},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2209.07997