LEMONADE：面向真实世界的大规模多语言专家标注抽象式事件数据集
计算与语言
2025-06-03 v1
摘要
本文提出了 LEMONADE，一个大规模冲突事件数据集，包含跨越 20 种语言和 171 个国家的 39,786 个事件，广泛覆盖了特定区域的实体。LEMONADE 基于“武装冲突地点与事件数据”(ACLED) 的部分重新标注子集构建，而 ACLED 记录全球冲突事件已超过十年。为了解决全球事件分析中聚合多语言来源的挑战，我们引入了抽象式事件抽取 (AEE) 及其子任务抽象式实体链接 (AEL)。与传统的基于跨度的事件抽取不同，我们的方法通过整体文档理解来检测事件论元和实体，并在多语言数据集中对它们进行归一化。我们在这些任务上评估了各种大型语言模型 (LLMs)，适配了现有的零样本事件抽取系统，并对监督模型进行了基准测试。此外，我们引入了 ZEST，一种用于 AEL 的基于检索的新型零样本系统。我们最好的零样本系统实现了 58.3% 的端到端 F1 分数，其中 LLMs 优于 GoLLIE 等专门的事件抽取模型。在实体链接方面，ZEST 实现了 45.7% 的 F1 分数，显著超越了仅达到 23.7% 的最先进零样本基线 OneNet。然而，这些零样本结果在端到端和 AEL 任务上分别落后于最佳监督系统 20.1% 和 37.0%，凸显了进一步研究的必要性。
引用
@article{arxiv.2506.00980,
title = {LEMONADE: A Large Multilingual Expert-Annotated Abstractive Event Dataset for the Real World},
author = {Sina J. Semnani and Pingyue Zhang and Wanyue Zhai and Haozhuo Li and Ryan Beauchamp and Trey Billing and Katayoun Kishi and Manling Li and Monica S. Lam},
journal= {arXiv preprint arXiv:2506.00980},
year = {2025}
}
备注
Findings of ACL 2025