忠实性与合理性冲突吗？跨NLP任务的可解释AI实证研究
人工智能
2024-04-02 v1 机器学习
摘要
旨在解释决策AI系统的可解释性算法通常考虑平衡两个关键维度：1）忠实性，即解释准确反映模型的推理过程；2）合理性，即解释与领域专家一致。然而，问题出现了：忠实性和合理性是否固有地冲突？在本研究中，通过跨三个NLP任务（情感分析、意图检测和主题标注）对所选可解释性方法的解释与专家级解释进行全面的定量比较，我们证明传统的基于扰动的方法Shapley值和LIME可以实现更高的忠实性和合理性。我们的发现表明，与其以牺牲一个维度为代价优化另一个维度，不如寻求以双重目标优化可解释性算法，以实现其解释的高准确性和用户可访问性。
引用
@article{arxiv.2404.00140,
title = {Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks},
author = {Xiaolei Lu and Jianghong Ma},
journal= {arXiv preprint arXiv:2404.00140},
year = {2024}
}