IGD：通过信息增益建模 LLM 中的 Token 决定性以实现个性化推荐
计算与语言
2025-10-31 v3
摘要
大语言模型（LLM）在通过将逐项预测建模为逐 token 语言生成任务方面展现了强大的推荐潜力。然而，现有方法对所有 item tokens 赋予同等权重，在优化和解码过程中简单地追求似然最大化。这忽略了 token 级别在决定性上的关键差异——许多 token 对 item 区分贡献甚微，却往往主导优化或解码。为量化 token 决定性，本文提出了一种新视角，将 item 生成建模为一个决策过程，通过每个 token 在减少关于生成 item 的不确定性方面所提供的信息增益（IG）来衡量 token 决定性。我们的实证分析揭示，大多数 token 具有低 IG 但往往对应高 logit 值，不成比例地影响训练损失和解码，从而可能损害模型性能。基于这些洞察，本文提出了一种基于信息增益的决定性感知 token 处理（IGD）策略，将 token 决定性整合到调优和解码中。具体而言，IGD 在调优期间降低低 IG token 的权重，并在解码时重新平衡以强调高 IG token。通过这种方式，IGD 超越了纯似然最大化，有效地优先考虑高决定性 token。在四个基准数据集上使用两个 LLM 骨干网络进行的广泛实验表明，IGD 一致地提升了推荐准确率，在广泛使用的排序指标上相比强基线方法取得了显著提升。
引用
@article{arxiv.2506.13229,
title = {IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation},
author = {Zijie Lin and Yang Zhang and Xiaoyan Zhao and Fengbin Zhu and Fuli Feng and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2506.13229},
year = {2025}
}