基于后验正则化的事件知识注入用于事件中心问答
计算与语言
2023-05-09 v1
摘要
我们提出一种简洁而有效的策略，通过从事件触发词标注中提取事件知识并经后验正则化注入，以提升主流问答（QA）模型在事件中心问答中的事件推理能力。具体而言，我们基于 QA 数据集中的事件触发词标注定义事件相关知识约束，随后用之正则化 QA 设定下所用骨干预训练语言模型的后验答案输出概率。我们分别针对抽取式与生成式 QA 探索了两种不同的后验正则化策略。对于抽取式 QA，句子级事件知识约束通过判断句子是否包含答案事件来定义，并用于修正答案片段抽取概率。对于生成式 QA，词元级事件知识约束通过将骨干语言模型生成的词元与答案事件比较以引入奖励或惩罚项，从而间接调整答案生成概率。我们在两个事件中心 QA 数据集 TORQUE 与 ESTER 上开展实验。结果表明，我们所提方法能有效将事件知识注入现有预训练语言模型，并在答案评估中相较现有 QA 模型取得强劲性能。代码与模型见：https://github.com/LuJunru/EventQAviaPR。
引用
@article{arxiv.2305.04522,
title = {Event Knowledge Incorporation with Posterior Regularization for Event-Centric Question Answering},
author = {Junru Lu and Gabriele Pergola and Lin Gui and Yulan He},
journal= {arXiv preprint arXiv:2305.04522},
year = {2023}
}
备注
work in process