面向自然语言推理中归因方法评估的多语言视角

大多数归因方法的评估都聚焦于英语。在本工作中，我们提出了一种多语言方法，从忠实性和合理性两方面评估自然语言推理（NLI）任务中的归因方法。首先，我们引入了一种基于词对齐的新颖跨语言策略来衡量忠实性，该策略消除了基于擦除的评估的缺陷。随后，我们对归因方法进行了全面评估，考虑了不同的输出机制和聚合方法。最后，我们用基于高亮的解释扩充了XNLI数据集，提供了一个带高亮的多语言NLI数据集，以支持未来的可解释自然语言处理（exNLP）研究。我们的结果表明，在合理性和忠实性上表现最佳的归因方法是不同的。