解码决定一切：针对基于大型语言模型的推荐中的放大偏置和均质性问题
信息检索
2024-11-06 v3
摘要
将大型语言模型 (LLM) 用于推荐需要仔细考虑解码过程，因为生成物品与自然语言存在本质差异。现有方法常直接应用 LLM 的原始解码方法。然而，我们发现这些方法面临显著挑战：1）放大偏置 — — 标准长度归一化会为包含生成概率接近 1 的标记（称为幽灵标记）的物品得分过高；2）均质性问题 — — 为用户生成多个相似或重复的物品。为解决这些挑战，我们引入一种新的解码方法，称为 Debiasing-Diversifying Decoding (D3)。D3 禁用幽灵标记的长度归一化以缓解放大偏置，并整合一个无文本助理模型，以鼓励 LLM 生成较少生成的标记，以抵消推荐均质性。大量实验在真实数据集上表明，该方法在提升准确率和多样性方面具有有效性。代码可在 https://github.com/SAI990323/DecodingMatters 获取。
引用
@article{arxiv.2406.14900,
title = {Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation},
author = {Keqin Bao and Jizhi Zhang and Yang Zhang and Xinyue Huo and Chong Chen and Fuli Feng},
journal= {arXiv preprint arXiv:2406.14900},
year = {2024}
}
备注
Accepted at EMNLP 2024 Main Conference