一种基于对比微调的生成式脚本事件预测方法
计算与语言
2022-12-12 v3
摘要
脚本事件预测旨在给定上下文预测后续事件。这要求具备推断事件间相关性的能力。近期工作尝试通过预训练语言模型与引入外部知识（如语篇关系）来改进事件相关性推理。尽管已取得可喜结果，一些挑战依然存在。首先，当前工作采用的预训练语言模型忽略了事件级知识，导致无法很好地捕捉事件间的相关性。其次，用语篇关系建模事件间相关性存在局限，因为它只能捕捉带有语篇标记的事件间的显式相关性，而无法捕捉许多隐式相关性。为此，我们提出一种用于该任务的新颖生成式方法，其中预训练语言模型以事件为中心的预训练目标进行微调，并在生成式范式下预测下一事件。具体地，我们首先引入一种新颖的事件级空白填充策略作为学习目标，将事件级知识注入预训练语言模型，然后设计一种基于似然的对比损失来微调生成模型。我们不使用额外的预测层，而是利用生成模型产生的序列似然进行预测。我们的方法以软方式建模事件间相关性，无需任何外部知识。基于似然的预测消除了使用额外网络进行预测的需要，并且由于对每个事件中的词进行打分而具有一定可解释性。在多选叙事完形填空（MCNC）任务上的实验结果表明，我们的方法优于其他 SOTA 基线。我们的代码将发布于 https://github.com/zhufq00/mcnc。
引用
@article{arxiv.2212.03496,
title = {A Generative Approach for Script Event Prediction via Contrastive Fine-tuning},
author = {Fangqi Zhu and Jun Gao and Changlong Yu and Wei Wang and Chen Xu and Xin Mu and Min Yang and Ruifeng Xu},
journal= {arXiv preprint arXiv:2212.03496},
year = {2022}
}