中文

利用提示蕴含重新思考事件编码流程

计算与语言 2023-05-08 v2 人机交互 机器学习

摘要

为了监测危机,需要从新闻中提取政治事件。大量非结构化的全文本事件描述使得逐案分析难以进行,对于资源匮乏的人道主义援助组织而言尤为如此。这产生了将事件分类为事件类型的需求,该任务被称为事件编码。通常,领域专家构建事件类型本体,标注者标注大型数据集,技术专家开发有监督编码系统。在本工作中,我们提出了 PR-ENT,一种更灵活且资源高效的事件编码方法,同时保持有竞争力的准确率:首先,我们通过模板(例如“People were [Z]”)扩展事件描述(如“Military injured two civilians”),并提示预训练的(完形填空)语言模型填充槽位 Z。其次,我们将事件描述作为前提,填充后的模板作为假设,在文本蕴含任务中选择答案候选 Z* = {“injured”, “hurt”...}。这使得领域专家能够直接将编码手册起草为带标签的提示和可解释的答案候选。这一人机协同过程由我们的交互式编码手册设计工具引导。我们通过多项鲁棒性检查评估 PR-ENT:扰动事件描述与提示模板、限制词汇量以及移除上下文信息。

关键词

引用

@article{arxiv.2210.05257,
  title  = {Rethinking the Event Coding Pipeline with Prompt Entailment},
  author = {Clément Lefebvre and Niklas Stoehr},
  journal= {arXiv preprint arXiv:2210.05257},
  year   = {2023}
}

备注

Revised from published version in the proceedings of the FEVER workshop at EACL 2023