从token层面重新思考大型语言模型中的个性化
计算与语言
2026-03-10 v1
摘要
随着大型语言模型（LLM）在多样化任务上表现日益突出，人们对其为个体用户个性化输出需求日益增长。个性化通常被表述为位于基础NLP任务之上的附加层，要求模型响应满足用户特定需求，同时仍完成底层任务。从token层面来看，响应中不同token对个性化贡献不同。应当对个性化相关性更高的token给予更大关注，以在开发个性化LLM时实现更高的权重。然而，准确估计这些个性化程度仍具有挑战性。为此，我们提出了PerContrast——一种自我对比方法，通过因果干预估计每个输出token对用户特定信息的依赖程度。基于此机制，我们开发了PerCE loss，通过自助程序适当放大估计到的高个性化程度token的权重，使模型在估计与优化这些token之间交替，从而实现针对性训练。在多个LLM上进行的实验表明，PerCE在个性化性能上显著提升，额外成本最小，平均提升超过10%，最高达到68.04%（LongLaMP数据集），并展现出强大的跨任务和跨情景迁移能力。这些结果凸显了token级个性化建模的重要性，确立了token感知训练作为一种简单而有效的个性化LLM进步范式。
引用
@article{arxiv.2603.06595,
title = {Rethinking Personalization in Large Language Models at the Token Level},
author = {Chenheng Zhang and Yijun Lu and Lizhe Fang and Chunyuan Zheng and Jiajun Chai and Xiaohan Wang and Guojun Yin and Wei Lin and Yisen Wang and Zhouchen Lin},
journal= {arXiv preprint arXiv:2603.06595},
year = {2026}
}