深度网络的更深可解释性
计算机视觉与模式识别
2018-11-21 v2
摘要
深度卷积神经网络(CNNs)是计算机视觉中最具影响力的近期进展之一,特别是在分类方面。随着这些系统部署到现实世界中,对可解释 AI 的需求日益增长。然而,在大多数情况下,理解 CNN 中表示和处理的信息仍然具有挑战性。在本文中,我们探索使用神经科学领域开发的新的信息论技术,以实现对 CNN 如何表示信息的全新理解。我们训练了一个 10 层 ResNet 架构,以从使用严格控制的 3D 人脸渲染模型生成的 26M 图像中识别 2,000 个人脸身份,该模型产生了内在(即人脸形态、性别、年龄、表情和种族)和外在因素(即 3D 姿态、光照、尺度和 2D 平移)的变化。通过我们的方法,我们证明与人不同,网络即使在人脸形状极端变化下也会过度泛化人脸身份,但它对纹理变化更敏感。为了理解这些反直觉特性背后的信息处理过程,我们可视化了网络用于识别人脸所处理的形状和纹理特征。然后,我们揭示了黑箱的内部运作,并展示了隐藏层如何表示这些特征以及这些表示是否对姿态不变。我们希望我们的方法将为 CNN 的可解释性提供一项额外的有价值工具。
引用
@article{arxiv.1811.07807,
title = {Deeper Interpretability of Deep Networks},
author = {Tian Xu and Jiayu Zhan and Oliver G. B. Garrod and Philip H. S. Torr and Song-Chun Zhu and Robin A. A. Ince and Philippe G. Schyns},
journal= {arXiv preprint arXiv:1811.07807},
year = {2018}
}