您的因果自注意力推荐器拥有孤独的社区
信息检索
2025-01-03 v3
摘要
在序列推荐领域，一个关键问题是关于双向/自编码 (AE) 和单向/自回归 (AR) 注意力机制之间的比较，关于架构和性能优势的结论仍然不明确。以往的比较工作主要涉及总结既有作品以识别共识或对周边建模技术（如损失函数选择）进行消化研究。然而，关于 (1) 理论和 (2) 对自注意力模块进行大规模实证分析的努力仍然有限。本文首先提供了关于 AE/AR 注意力矩阵的全面理论分析，从 (1) 稀疏局部归因偏置，即 neighborhood 效应，和 (2) 低秩近似两个方面入手。分析指标表明，AR 注意力在通常稀疏推荐场景中表现出稀疏 neighborhood 效应。为支持我们的理论分析，我们在五个流行基准测试上进行了大量实证实验，比较 AE/AR 注意力，结果显示 AR 在总体上表现更好。所报告的实证结果基于我们称为 Modularized Design Space for Self-Attentive Recommender (ModSAR) 的实验管道，该管道支持自适应超参数调优、模块化设计空间和 HuggingFace 插件。我们邀请推荐社区利用/贡献 ModSAR 以 (1) 超越 AE/AR 比较进行更多模块/模型层面检讨和 (2) 加速最先进模型设计。最后，我们阐明了面向高性能自注意力 recommenders 的未来设计选择。我们将实现 pipeline 和数据置于 https://github.com/yueqirex/SAR-Check
关键词
引用
@article{arxiv.2406.02048,
title = {Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood},
author = {Yueqi Wang and Zhankui He and Zhenrui Yue and Julian McAuley and Dong Wang},
journal= {arXiv preprint arXiv:2406.02048},
year = {2025}
}
备注
Accepted to WSDM'25