稍加推动，NLI 模型即可鲁棒且高效地预测忠实性
计算与语言
2023-05-29 v1
摘要
条件语言模型仍会生成不被其输入所支持的不可靠输出。这些不忠实的生成危及摘要或人机交互等现实应用中的信任，从而产生了对自动忠实性度量的需求。为实现此类度量，NLI 模型看似颇具吸引力，因为它们解决了一项高度相关的任务，且拥有丰富的先前研究与数据。但近期研究表明，NLI 模型需要昂贵的额外机制才能跨数据集可靠运行，例如对输入与生成句子做笛卡尔积推理，或用问题生成/回答步骤来辅助。在本工作中，我们表明，当将任务自适应数据增强与鲁棒推理过程相结合时，纯 NLI 模型能够胜过更复杂的度量。我们提出：（1）增强 NLI 训练数据，使 NL 推理适配对话中忠实性预测的特性；（2）利用 NLI 中的蕴含与矛盾概率；（3）在推理时使用蒙特卡洛 dropout。应用于结合跨领域与跨任务忠实性数据集的 TRUE 基准时，我们的方法大幅改进了原始 NLI 模型，并显著优于先前工作，同时展现出良好的计算成本。
引用
@article{arxiv.2305.16819,
title = {With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness},
author = {Julius Steen and Juri Opitz and Anette Frank and Katja Markert},
journal= {arXiv preprint arXiv:2305.16819},
year = {2023}
}
备注
ACL 2023 (short paper)