基于结构世界模型的无训练先验冷启动个性化

冷启动个性化需要在没有用户历史数据可供利用时通过交互推断用户偏好。核心挑战在于路由问题：每个任务都有数十个偏好维度，但 individual 用户只关心其中几个，而哪些维度重要取决于提问者的身份。在有限的提问预算下，若不加结构化处理将错失关键维度。强化学习是自然的建模方式，但在多轮设置中，其终端奖励未能充分利用偏好数据中按维度划分的结构，实际学习到的策略会简化为忽略用户响应的静态提问序列。我们提出将冷启动 elicitation 分解为离线结构学习与在线贝叶斯推断。Pep（Preference Elicitation with Priors）通过完整用户档案数据离线学习偏好相关性的结构化世界模型，然后在线执行无训练贝叶斯推断，以选择信息丰富的问题并预测完整偏好档案，包括从未被询问的维度。该框架在下游求解器上具有模块化，仅需简单信念模型。在医学、数学、社交和常识推理等任务上，Pep 生成的响应与用户明确表达的偏好一致率达 80.8%，而 RL 仅为 68.5%，交互次数减少 3-5 倍。当两个用户对同一问题给出不同答案时，Pep 的后续跟进在 39-62% 的情况下会发生变化，而 RL 仅为 0-28%。它仅使用约 10K 参数即可实现，而 RL 需要 8B 参数，表明冷启动elicitation 的瓶颈在于能否有效利用偏好数据的因式分解结构。