面向 LLM 个性化的用户间差异建模
计算与语言
2025-09-23 v2
摘要
大语言模型（LLM）日益集成到用户的日常生活中，导致对个性化输出的需求不断增长。以往的工作侧重于利用用户的个人历史记录，忽略了对于有效个性化至关重要的用户间差异。虽然近期的工作尝试建模此类差异，但依赖语言-based 提示往往会阻碍有效提取有意义的区别。为此，我们提出了差异感知嵌入式个性化框架（DEP），该框架在潜在空间中建模用户间差异，而非依赖语言提示。DEP 通过对比用户的嵌入向量与与其内容相似的其他用户的嵌入向量来构建软提示，从而凸显相对行为信号。随后，稀疏自编码器对用户特定嵌入和差异感知嵌入进行过滤和压缩，仅保留任务相关特征后注入到冻结的 LLM 中。针对个性化评论生成任务的实验表明，DEP 在多个指标上 consistently 优于基线方法。我们的代码已公开于 https://github.com/SnowCharmQ/DEP。
引用
@article{arxiv.2507.20849,
title = {Latent Inter-User Difference Modeling for LLM Personalization},
author = {Yilun Qiu and Tianhao Shi and Xiaoyan Zhao and Fengbin Zhu and Yang Zhang and Fuli Feng},
journal= {arXiv preprint arXiv:2507.20849},
year = {2025}
}
备注
2025 EMNLP Main Conference (Oral)