论自然语言处理深度模型的可解释性
计算与语言
2022-10-14 v1 人机交互
摘要
尽管近期在针对图像和表格数据的深度模型的可解释人工智能（ExAI）方面工作激增，文本数据集给 ExAI 领域带来了新的挑战。这些挑战可归因于文本数据缺乏输入结构、词嵌入的使用增加了模型的不透明性，以及深度模型在文本数据上训练时其内部机制可视化的困难。近来已开发了一些方法来应对上述挑战，并对自然语言处理（NLP）模型给出令人满意的解释。然而，这类方法尚待在一个全面框架中被研究，其中应恰当陈述共同挑战并提出严格的评估实践与指标。为推动 ExAI 方法在 NLP 领域的普及，我们在本工作中提出一项综述，研究 NLP 模型上面向模型无关及模型特定的可解释性方法。这类方法既可开发内在可解释的 NLP 模型，也可在事后方式下作用于预训练模型。我们作出此区分，并进一步按所解释对象将方法分为三类：（1）词嵌入（输入级），（2）NLP 模型内部机制（处理级），（3）模型决策（输出级）。我们还详述了 NLP 领域可解释性方法的不同评估途径。最后，我们在附录中给出了关于知名神经机器翻译的案例研究，并提出了 NLP 领域 ExAI 的有前景的未来研究方向。
引用
@article{arxiv.2210.06929,
title = {On the Explainability of Natural Language Processing Deep Models},
author = {Julia El Zini and Mariette Awad},
journal= {arXiv preprint arXiv:2210.06929},
year = {2022}
}