NoteLLM：一种用于笔记推荐的可检索大语言模型
信息检索
2024-03-26 v2
摘要
人们喜欢在在线社区中分享包含其经验的“笔记”。因此，推荐符合用户兴趣的笔记成为一项关键任务。现有的在线方法仅将笔记输入到基于BERT的模型中以生成笔记嵌入用于评估相似性。然而，它们可能未充分利用一些重要线索，例如代表笔记关键概念的标签或类别。实际上，学习生成标签/类别可以潜在地增强笔记嵌入，两者都将关键笔记信息压缩到有限的内容中。此外，大语言模型在理解自然语言方面显著优于BERT。将LLM引入笔记推荐是有前景的。在本文中，我们提出了一种新颖的统一框架NoteLLM，它利用LLM来解决项目到项目的笔记推荐。具体地，我们利用笔记压缩提示将笔记压缩为单个特殊标记，并通过对比学习方法进一步学习潜在相关笔记的嵌入。此外，我们使用NoteLLM通过指令调优自动总结笔记并生成标签/类别。在真实场景上的大量验证证明了我们提出的方法相对于在线基线的有效性，并在小红书推荐系统中显示出重大改进。
引用
@article{arxiv.2403.01744,
title = {NoteLLM: A Retrievable Large Language Model for Note Recommendation},
author = {Chao Zhang and Shiwei Wu and Haoxin Zhang and Tong Xu and Yan Gao and Yao Hu and Di Wu and Enhong Chen},
journal= {arXiv preprint arXiv:2403.01744},
year = {2024}
}
备注
Published as a WWW'24 full paper