多语言与单语微调语言模型之间解释忠实度的比较
计算与语言
2024-03-20 v1 人工智能
摘要
在许多真实的自然语言处理应用场景中，实践者不仅旨在最大化预测性能，还寻求对模型预测的忠实解释。特征归因方法（FAs）给出的基本原理和重要性分布，提供了关于输入的不同部分如何对预测产生贡献的洞察。以往的研究主要在单语英语模型的背景下探讨了不同因素如何影响忠实度。另一方面，多语言模型与单语模型之间 FA 忠实度的差异尚未得到探索。我们涵盖五种语言和五种流行 FAs 的广泛实验表明，多语言模型与单语模型之间的 FA 忠实度存在差异。我们发现，与对应的单语模型相比，多语言模型越大，FAs 的忠实度越低。我们的进一步分析表明，这种忠实度差异可能由模型分词器之间的差异所驱动。我们的代码可用：https://github.com/casszhao/multilingual-faith。
引用
@article{arxiv.2403.12809,
title = {Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models},
author = {Zhixue Zhao and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2403.12809},
year = {2024}
}
备注
Accepted at NAACL 2024 Main Conference