面向零样本社会政治事件抽取的蒙特卡洛语言模型流水线
计算与语言
2024-06-04 v2
摘要
当前社会科学工作通过将事件抽取(EE)应用于新闻等文本,自动构建“谁对谁做了什么?”元组形式的事件数据库。这些事件数据库被用于分析国际关系等场景中行动者配对(dyads)之间的社会政治动态。尽管大多数EE方法严重依赖规则或有监督学习,零样本事件抽取有可能让研究者灵活地为新的研究问题指定任意事件类别。遗憾的是,我们发现当前的零样本EE方法,以及简单生成式语言模型(LM)提示的朴素零样本方法,在二元事件抽取上表现不佳;大多数存在词义歧义、情态敏感性和计算效率低的问题。我们通过一种细粒度、多阶段、遵循指令的生成式LM流水线应对这些挑战,提出一种蒙特卡洛方法来处理甚至利用生成式输出的非确定性。我们的流水线包含明确的语言分析阶段(同义词生成、上下文消歧、论元实现、事件情态),相比纯神经方法提升了可控性与可解释性。该方法优于其他零样本EE方法,并以至少17个F1百分点超越生成式LM的朴素应用。该流水线的过滤机制大幅提升了计算效率,使其执行的查询仅为此前一种零样本方法所用查询的12%。最后,我们展示了该流水线在国际关系二元分析中的应用。
引用
@article{arxiv.2305.15051,
title = {A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction},
author = {Erica Cai and Brendan O'Connor},
journal= {arXiv preprint arXiv:2305.15051},
year = {2024}
}
备注
Accepted at NeurIPS 2023 Workshop on Instruction Tuning and Instruction Following; oral presentation at New England Natural Language Processing, 2023; 17 pages of text including references and appendix