基于X-AMR的线性跨文档事件共指消解
计算与语言
2024-04-16 v1 人工智能
摘要
事件共指消解(ECR)作为成对提及分类任务,对于自动化系统和人工标注来说成本高昂。当使用大型语言模型(LLM)时,该任务的二次难度会加剧,使得ECR的提示工程变得极其昂贵。在这项工作中,我们提出了一种事件的图形表示——X-AMR,它使用跨文档版本的抽象意义表示(AMR)围绕单个提及进行锚定。然后,我们通过一种新颖的事件图上的多跳共指算法将ECR线性化。事件图简化了ECR,使其a) 对LLM成本有效,b) 组合且可解释,c) 易于标注。为了公平评估,我们首先使用我们引入的标注者友好工具,用这些事件图丰富现有的ECR基准数据集。然后,我们使用OpenAI最新的LLM——GPT-4进行这些标注。最后,使用ECR算法,我们评估GPT-4与人类的表现,并分析其局限性。通过这项研究,我们旨在推进高效ECR的最新技术,并揭示当前LLM在此任务中的潜在缺陷。代码和标注:\url{https://github.com/ahmeshaf/gpt_coref}
引用
@article{arxiv.2404.08656,
title = {Linear Cross-document Event Coreference Resolution with X-AMR},
author = {Shafiuddin Rehan Ahmed and George Arthur Baker and Evi Judge and Michael Regan and Kristin Wright-Bettner and Martha Palmer and James H. Martin},
journal= {arXiv preprint arXiv:2404.08656},
year = {2024}
}
备注
LREC-COLING 2024 main conference