IP-Dialog：利用合成数据评估对话系统中的隐式个性化
计算与语言
2025-06-04 v1 人机交互
摘要
在现代对话系统中，从对话中隐式推断用户背景并利用这些信息提供个性化协助的能力至关重要。然而，高质量数据的稀缺性仍然是评估和改进这一能力的基础性挑战。传统的数据集构建方法耗费大量人力、资源需求高，并引发隐私担忧。为了解决这些问题，我们提出了一种自动合成数据生成的新方法，并引入了隐式个性化对话（IP-Dialog）基准以及一个训练数据集，涵盖 10 个任务和 12 种用户属性类型。此外，我们开发了一个包含四个指标的系统性评估框架，以评估属性感知和推理能力。我们进一步提出了五个因果图，以阐明模型在隐式个性化过程中的推理路径。大量实验得出了有见地的观察结果，并证明了我们数据集的可靠性。
引用
@article{arxiv.2506.02449,
title = {IP-Dialog: Evaluating Implicit Personalization in Dialogue Systems with Synthetic Data},
author = {Bo Peng and Zhiheng Wang and Heyang Gong and Chaochao Lu},
journal= {arXiv preprint arXiv:2506.02449},
year = {2025}
}