UFO：一种用于控制 CNN 概念基解释中可理解性与忠实性目标的统一方法
计算机视觉与模式识别
2023-03-29 v1
摘要
卷积神经网络（CNNs）的基于概念的解释旨在使用一组预定义的语义概念来解释模型行为与输出（例如，模型基于“床”和“枕头”概念的存在来识别“卧室”场景类别）。然而，它们往往不能忠实（即准确）地刻画模型行为，且可能过于复杂而令人难以理解。此外，关于不同解释方法的忠实性与可理解性如何、以及如何控制这两个属性，人们知之甚少。在本工作中，我们提出 UFO，一种用于控制基于概念的解释中可理解性与忠实性目标（Understandability and Faithfulness Objectives）的统一方法。UFO 将可理解性与忠实性形式化为数学目标，并统一了大多数现有的 CNN 基于概念的解释方法。利用 UFO，我们系统地研究了当我们调节忠实性与可理解性旋钮时解释如何变化。我们的实验展示了忠实性-可理解性权衡：提高可理解性会降低忠实性。我们还通过分析基于概念的解释彼此分歧的时机与方式，对可解释机器学习中的“分歧问题”提供了见解。
引用
@article{arxiv.2303.15632,
title = {UFO: A unified method for controlling Understandability and Faithfulness Objectives in concept-based explanations for CNNs},
author = {Vikram V. Ramaswamy and Sunnie S. Y. Kim and Ruth Fong and Olga Russakovsky},
journal= {arXiv preprint arXiv:2303.15632},
year = {2023}
}