估计神经NLI模型中自然逻辑特征的因果效应
计算与语言
2024-04-04 v1
摘要
对语义特征在语言模型预测上的因果效应进行严格评估，对于自然语言推理问题可能难以实现。然而，从可解释性和模型评估的角度来看，这种分析形式是如此可取，以至于聚焦于具有足够结构和规律性的特定推理模式是有价值的，从而能够识别和量化广泛使用模型中的系统性推理失败。顺着这一思路，我们选取NLI任务中可系统构建显式因果图的一部分：具体而言，是两个句子(前提和假设)中两个相关词/术语出现在共享语境下的情况。在这项工作中，我们应用因果效应估计策略来衡量语境干预(其对蕴含标签的效应由语义单调性特征中介)和插入词对干预(其对蕴含标签的效应由这些词间关系中介)的效应。遵循不同设定下NLP模型因果分析的相关工作，我们调整该方法以用于NLI任务，从而构建关于对无关变化的鲁棒性和对有影响变化的敏感性的比较模型轮廓。
引用
@article{arxiv.2305.08572,
title = {Estimating the Causal Effects of Natural Logic Features in Neural NLI Models},
author = {Julia Rozanova and Marco Valentino and Andre Freitas},
journal= {arXiv preprint arXiv:2305.08572},
year = {2024}
}