IPQA：个性化问答中核心意图识别的基准
计算与语言
2026-04-20 v2
摘要
意图识别是在个性化问答（PQA）中生成适当响应的基础。然而，现有的基准仅评估响应质量或检索性能，而不直接衡量意图识别能力。这一差距至关重要，因为如果不了解用户优先考虑哪些意图，系统就无法生成满足个体信息需求的响应。为了解决这个问题，我们引入了核心意图的概念：用户在选择答案以满足其信息需求时优先考虑的意图。为了评估这些核心意图，我们提出了 IPQA，一个用于个性化问答中核心意图识别的基准。由于用户不会明确说明他们优先考虑的意图，我们从答案选择中的可观察行为模式推导出核心意图，这基于满意理论，即用户选择满足其接受阈值的答案。我们通过系统过滤、基于 LLM 的注释以及结合自动验证与人工验证的严格质量控制，构建了一个包含多个领域的数据集。跨最先进语言模型的实验评估表明，当前系统在个性化情境下的核心意图识别方面存在困难。模型无法从用户历史中识别核心意图，并且随着问题复杂性的增加，性能会下降。代码和数据集将公开提供，以促进该方向的未来研究。
引用
@article{arxiv.2510.23536,
title = {IPQA: A Benchmark for Core Intent Identification in Personalized Question Answering},
author = {Jieyong Kim and Maryam Amirizaniani and Soojin Yoon and Dongha Lee},
journal= {arXiv preprint arXiv:2510.23536},
year = {2026}
}