因正确的概念而正确:通过与其解释交互来修正神经符号概念
机器学习
2021-06-22 v6 人工智能
摘要
深度学习中大多数解释方法将模型预测的重要性估计映射回原始输入空间。这些“视觉”解释往往不足,因为模型的实际概念仍难以捉摸。此外,若缺乏对模型语义概念的洞察,便难以——甚至不可能——通过其解释对模型行为进行干预,这被称为解释交互学习(Explanatory Interactive Learning)。因此,我们提出对神经符号场景表示进行干预,其允许在语义层面对模型进行修正,例如“绝不要关注颜色来做决策”。我们编制了一个新颖的混淆视觉场景数据集 CLEVR-Hans,捕捉不同物体的复杂组合。我们在 CLEVR-Hans 上的实验结果表明,我们的语义解释(即逐物体层面的组合解释)能够识别出仅用“视觉”解释无法辨识的混淆因素。更重要的是,在此语义层面的反馈使得修正模型不再关注这些因素成为可能。
引用
@article{arxiv.2011.12854,
title = {Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations},
author = {Wolfgang Stammer and Patrick Schramowski and Kristian Kersting},
journal= {arXiv preprint arXiv:2011.12854},
year = {2021}
}