GRACE：基于链路注意力的面向旅程感知的生成式推荐
计算与语言
2025-07-22 v1 人工智能
信息检索
摘要
生成模型最近在多行为推荐系统中展现出强大的潜力，利用 transformer 的表达力和 tokenization 方法生成个性化物品序列。然而，其采用受限于 (1) token 推理缺乏显式信息、(2) tokenization 后注意力复杂度呈二次方且稠密序列表示导致高计算成本、(3) 用户历史数据跨尺度建模不足。本文提出 GRACE（Generative Recommendation via journey-aware sparse Attention on Chain-of-thought tokEnization），一种用于多行为序列推荐的新型生成框架。GRACE 引入混合链路思考（CoT）tokenization 方法，通过产品知识图谱中的显式属性（如类别、品牌、价格）对用户-物品交互进行编码，实现可解释且行为对齐的生成。为解决标准注意力的效率问题，我们设计了旅程感知稀疏注意力（JSA）机制，该机制选择性地注意力于压缩的、类内、类间及当前情境片段。我们在两个真实数据集上进行实验，表明 GRACE 显著优于最新基线，在 Home 领域实现 HR@10 提升最高达 +106.9%，NDCG@10 提升 +106.7%，在 Electronics 领域 HR@10 提升 +22.1%。GRACE 还通过长序列实现注意力计算降低最高 48%。
引用
@article{arxiv.2507.14758,
title = {GRACE: Generative Recommendation via Journey-Aware Sparse Attention on Chain-of-Thought Tokenization},
author = {Luyi Ma and Wanjia Zhang and Kai Zhao and Abhishek Kulkarni and Lalitesh Morishetti and Anjana Ganesh and Ashish Ranjan and Aashika Padmanabhan and Jianpeng Xu and Jason Cho and Praveen Kanumala and Kaushiki Nag and Sumit Dutta and Kamiya Motwani and Malay Patel and Evren Korpeoglu and Sushant Kumar and Kannan Achan},
journal= {arXiv preprint arXiv:2507.14758},
year = {2025}
}
备注
10 pages, 5 figures, The ACM Conference on Recommender Systems (RecSys) 2025