抽取式摘要作为文档级事件检测的增强方法
计算与语言
2023-05-30 v1
摘要
与浅层模型相比,基于Transformer的模型在各种NLP任务中持续带来显著的性能提升。然而,深层模型的计算开销比浅层模型高几个数量级,尤其在具有长序列长度的任务上,如文档级事件检测。在本工作中,我们试图通过使用抽取式文本摘要作为增强方法,来弥合浅层与深层模型在文档级事件检测上的性能差距。我们通过为低资源类的样本生成抽取式摘要来增强DocEE数据集。对于分类,我们使用带有TF-IDF表示的线性SVM和RoBERTa-base。我们使用BART进行零样本抽取式摘要,使得我们的增强设置相比有监督微调资源消耗更低。我们尝试了四种用于文本生成的解码方法,即束搜索、top-k采样、top-p采样和对比搜索。此外,我们研究了使用文档标题作为分类额外输入的影响。我们的结果显示,使用文档标题为线性SVM和RoBERTa分别带来宏F1分数2.04%和3.19%的绝对提升。通过摘要的增强进一步为线性SVM带来约0.5%的性能提升,在不同解码方法间略有差异。总体而言,相比RoBERTa,我们的增强设置对线性SVM带来的提升不足。
引用
@article{arxiv.2305.18023,
title = {Abstractive Summarization as Augmentation for Document-Level Event Detection},
author = {Janko Vidaković and Filip Karlo Došilović and Domagoj Pluščec},
journal= {arXiv preprint arXiv:2305.18023},
year = {2023}
}