通过协调双塔动态语义标记生成器释放大型语言模型在推荐系统中的潜能
信息检索
2024-09-17 v1 人工智能
计算与语言
机器学习
摘要
凭借在语义理解和逻辑推理方面的卓越能力，预训练大型语言模型(LLM)在开发下一代推荐系统(RS)方面展现出惊人的潜力。然而，当前方法所采用的静态索引范式严重限制了LLM容量在推荐中的利用，导致语义知识与协同知识对齐不足，以及忽视高阶用户-物品交互模式。本文提出双塔动态语义推荐器(TTDS)，首个采用动态语义索引范式的生成式RS，旨在同时解决上述问题。具体而言，我们首次构思一种动态知识融合框架，将双塔语义标记生成器集成到LLM-based recommender中，层次化分配有意义的语义索引给物品和用户，进而预测目标物品的语义索引。此外，提出一种双模态变分自编码器，以促进语义知识与协同知识之间的多粒度对齐。最终，提出一系列专为捕获高阶用户-物品交互模式而定制的新型调优任务，以发挥用户历史行为的优势。在三个公开数据集上的大量实验表明，我们的方法在开发LLM-based生成式RS方面优于领先基线方法。在Hit-Rate和NDCG指标上，所提出的TTDS推荐器分别实现了平均19.41%和20.84%的提升。
引用
@article{arxiv.2409.09253,
title = {Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator},
author = {Jun Yin and Zhengxin Zeng and Mingzheng Li and Hao Yan and Chaozhuo Li and Weihao Han and Jianjin Zhang and Ruochen Liu and Allen Sun and Denvy Deng and Feng Sun and Qi Zhang and Shirui Pan and Senzhang Wang},
journal= {arXiv preprint arXiv:2409.09253},
year = {2024}
}