图增强优化器用于结构感知推荐嵌入演化
信息检索
2024-09-30 v3 机器学习
摘要
嵌入在现代推荐系统中起着关键作用，因为它们是真实世界实体的虚拟表示，也是后续决策模型的基础。本文提出一种新颖的嵌入更新机制——结构感知嵌入演化（SEvo），以鼓励相关节点在每一步中相似地演化。与通常作为中间模块的图神经网络（GNN）不同，SEvo能够在训练过程中以最小的计算开销将图结构信息直接注入嵌入。本文从理论上分析了SEvo及其潜在变体的收敛性质，以证明设计的有效性。此外，SEvo可无缝集成到现有优化器中以实现最先进的性能。特别是带有矩估计校正的SEvo增强AdamW在一系列模型和数据集上展现出一致的改进，提出了一种超越显式GNN模块有效利用图结构信息的新技术路线。
引用
@article{arxiv.2310.03032,
title = {Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution},
author = {Cong Xu and Jun Wang and Jianyong Wang and Wei Zhang},
journal= {arXiv preprint arXiv:2310.03032},
year = {2024}
}
备注
Accepted to NeurIPS 2024