CoPA：基于数据驱动认知因素的个性化问答基准测试
计算与语言
2026-04-17 v1
摘要
尽管 LLMs 在问答（QA）方面展现出了卓越的潜力，但评估个性化仍是一个关键瓶颈。现有范式主要依赖于词汇层面的相似性或人工启发式方法，往往缺乏充分的数据驱动验证。我们通过挖掘“社区-个体偏好分歧”（CIPD，即个体选择覆盖共识）来解决这一问题，提炼出六个关键的个性化因素作为评估维度。据此，我们引入了 CoPA，一个包含 1,985 个用户配置文件的基准测试，用于细粒度的、因素层面的评估。通过量化模型输出与从交互模式中推断出的用户特定认知偏好之间的对齐程度，与通用指标相比，CoPA 为评估个性化问答提供了一个更全面且更具区分度的标准。代码可在 https://github.com/bjzgcai/CoPA 获取。
引用
@article{arxiv.2604.14773,
title = {CoPA: Benchmarking Personalized Question Answering with Data-Informed Cognitive Factors},
author = {Hang Su and Zequn Liu and Chen Hu and Xuesong Lu and Yingce Xia and Zhen Liu},
journal= {arXiv preprint arXiv:2604.14773},
year = {2026}
}
备注
Accepted to ACL. 30 pages, 10 figures