大语言模型是否识别您的潜在偏好？面向个性化交互的潜在信息发现基准
机器学习
2025-10-21 v1 人工智能
计算与语言
摘要
大语言模型在生成广泛相关文本方面表现出色，但这种普适性在需要用户特定偏好的场景中成为限制，例如推荐餐厅或规划旅行。在这些场景中，用户很少明确表达每一个偏好；相反，他们关心的大部分内容保持潜在状态，等待被推断。这提出了一个根本性问题：大语言模型能否通过对话发现并推理这些潜在信息？我们通过引入用于评估潜在信息发现的统一基准来解决这一问题——即大语言模型揭示和利用隐藏用户属性通过多轮交互的能力。该基准涵盖三个逐步现实的设置：经典的20个问题游戏、个性化问答和个性化文本摘要。所有任务都共享一个三代理框架（用户、助手、裁判），可实现轮次级别的评估。我们的结果表明，尽管大语言模型确实可以通过对话表现出潜在信息，但其成功率在具体情境下差异巨大：根据任务复杂度、主题和隐藏属性数量，从32%到98%不等。该基准为研究个性化交互中的潜在信息发现提供了第一个系统性框架，突显出有效偏好推断仍是构建真正自适应AI系统的开放前沿。
引用
@article{arxiv.2510.17132,
title = {Do LLMs Recognize Your Latent Preferences? A Benchmark for Latent Information Discovery in Personalized Interaction},
author = {Ioannis Tsaknakis and Bingqing Song and Shuyu Gan and Dongyeop Kang and Alfredo Garcia and Gaowen Liu and Charles Fleming and Mingyi Hong},
journal= {arXiv preprint arXiv:2510.17132},
year = {2025}
}