AmbigDocs: 针对同名不同实体的跨文档推理
计算与语言
2024-08-12 v3
摘要
同名不同实体可能难以区分。处理令人混淆的实体提及是语言模型的一项关键技能。例如，给定问题“Michael Jordan 在哪里接受的教育？”以及一组讨论名为 Michael Jordan 的不同人物的文档，语言模型能否区分实体提及以生成针对该问题的连贯答案？为了测试这一能力，我们引入了一个新的基准 AmbigDocs。通过利用 Wikipedia 的消歧页面，我们识别出一组文档，这些文档属于共享一个歧义名称的不同实体。从这些文档中，我们生成了包含歧义名称的问题及其对应的答案集合。我们的分析表明，当前的最先进模型经常给出歧义答案或错误地合并属于不同实体的信息。我们建立了一个本体，将四种类型的不完整答案进行分类，并提出了自动评估指标来识别这些类别。我们为未来关于具有歧义实体的多文档推理工作奠定了基础。
引用
@article{arxiv.2404.12447,
title = {AmbigDocs: Reasoning across Documents on Different Entities under the Same Name},
author = {Yoonsang Lee and Xi Ye and Eunsol Choi},
journal= {arXiv preprint arXiv:2404.12447},
year = {2024}
}