FiD-Ex：改进用于抽取式理由生成的序列到序列模型
计算与语言
2021-01-01 v1
摘要
自然语言（NL）对模型预测的解释为理解和验证大型黑盒预训练模型在问答（QA）与事实验证等 NLP 任务中的决策正日益流行。近来，预训练序列到序列（seq2seq）模型被证明在联合进行预测及生成 NL 解释方面非常有效。然而，这些模型存在诸多缺陷：即便预测错误它们也会编造解释，难以适配长输入文档，且训练需要大量标注数据。本文中，我们提出 FiD-Ex，通过以下方式解决 seq2seq 模型的这些缺陷：1）引入句子标记以消除解释编造，鼓励抽取式生成；2）使用 fusion-in-decoder 架构处理长输入上下文；3）在重构的开放域 QA 数据集上作中间微调以提升少样本性能。在 ERASER 可解释性基准的多个任务上，FiD-Ex 在解释指标与任务准确率上均显著优于先前工作，无论是在全监督还是少样本设定下。
引用
@article{arxiv.2012.15482,
title = {FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation},
author = {Kushal Lakhotia and Bhargavi Paranjape and Asish Ghoshal and Wen-tau Yih and Yashar Mehdad and Srinivasan Iyer},
journal= {arXiv preprint arXiv:2012.15482},
year = {2021}
}