基于跨度级预测的逻辑推理以实现可解释且鲁棒的NLI模型
计算与语言
2022-10-24 v3 机器学习
摘要
当前的自然语言推理（NLI）模型取得了令人印象深刻的成果，在分布内测试集上评估时有时超越人类。然而，由于已知这些模型从标注伪迹和数据集偏差中学习，尚不清楚模型在多大程度上是在学习NLI任务本身而非从其训练数据中的浅层启发式方法学习。我们通过引入一个用于NLI的逻辑推理框架来解决此问题，创建基于逻辑规则的高度透明的模型决策。与先前工作不同，我们表明可在不降低预测精度的情况下实现可解释性的提升。我们在SNLI上几乎完全保留了性能，同时还识别出对每个模型预测负责的精确假设跨度。利用e-SNLI人类解释，我们验证了我们的模型在跨度级别上做出合理决策，尽管训练期间未使用任何跨度标签。我们可进一步通过在训练期间使用e-SNLI解释来改进模型性能和跨度级决策。最后，我们的模型在缩减数据设置下更为鲁棒。当仅用1,000个样本训练时，在MNLI匹配与不匹配验证集上的分布外性能相对基线分别提高了13%和16%。用更少观测训练带来了进一步的提升，包括分布内与分布外。
引用
@article{arxiv.2205.11432,
title = {Logical Reasoning with Span-Level Predictions for Interpretable and Robust NLI Models},
author = {Joe Stacey and Pasquale Minervini and Haim Dubossarsky and Marek Rei},
journal= {arXiv preprint arXiv:2205.11432},
year = {2022}
}
备注
Accepted at EMNLP 2022