LATTE: 面向个性化 LLM 生成的锚定同伴偏好轨迹预测
计算与语言
2026-05-27 v1
摘要
冻结的大型语言模型个性化生成需要既紧凑又时效的条件信号。现有的个性化方法通常以文本形式检索或总结用户历史记录，或压缩为静态潜在配置文件和软提示。这些方法高效，但将用户过去的行为视为整体轮廓，因而将稳定身份、近期漂移和项目内容混合在同一表示中。我们提出LAtent Trajectory Tracking and Extrapolation (LATTE)，将个性化表示为锚定同伴相对偏好状态的预测。对于每个历史会话，LATTE 从对相同项目作出相同响应的可比较用户组成的基线中减去一个时间掩码基线，产生衡量目标用户在共享项目情境下与同伴之间差异的状态。轻量级序列预测器随后预测该轨迹中的下一个状态，State to Token Bridge 通过单个锚定软令牌将预测注入冻结的指令调优 LLM。我们提供的潜在因子分析阐明了同伴锚定如何抵消共享项目变动以及时间预测如何在陈旧平均值与嘈杂近期状态之间进行权衡。实验在 Amazon Reviews 2023 和 MemoryCD 上表明，LATTE 一致优于检索、摘要记忆、静态潜在配置文件、差异感知潜在配置文件和软提示压缩基线。在 Amazon Reviews 2023 上，LATTE 将平均 ROUGE-L 从静态潜在配置文件的 0.219 和最强添加型潜在压缩基线的 0.245 提升至 0.259。额外的成对比较和诊断分析表明，改进主要归因于预测用户特定轨迹信息，而不仅仅是添加软提示接口。
引用
@article{arxiv.2605.26612,
title = {LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation},
author = {Jinze Li and Xiaoyan Yang and Shuo Yang and Jinfeng Xu and Yue Shen and Jian Wang and Jinjie Gu and Edith Cheuk-Han Ngai},
journal= {arXiv preprint arXiv:2605.26612},
year = {2026}
}
备注
Under review