从热力图到图像分类器的结构化解释

本文总结了我们在过去几年中解释图像分类器方面的努力，旨在包含我们所获得的负面结果与见解。文章首先描述可解释神经网络 (XNN)，其试图纯粹从深度网络中提取并可视化若干高层概念，而不依赖人类语言概念。这有助于用户理解较不直观的网络分类，并大幅提升了用户在区分不同种类海鸥的困难细粒度分类任务上的表现。意识到一个重要的缺失环节是可靠的热力图可视化工具，我们开发了利用积分梯度以避免热力图生成中局部最优的 I-GOS 与 iGOS++，其在所有分辨率上均改善了性能。在这些可视化工具的开发过程中，我们意识到对相当数量的图像，分类器存在多条不同路径以达成高置信预测。这促成了我们近期发展的结构化注意力图 (SAGs)，一种利用集束搜索为单张图像定位多个粗粒度热力图，并通过捕捉不同图像区域组合如何影响分类器置信度来紧凑可视化一组热力图的方法。通过研究过程，我们学到了许多关于构建深度网络解释的见解、多重解释的存在与频率，以及使解释生效的诸多技巧。在本文中，我们试图与读者分享这些见解与观点，希望其中部分内容对可解释深度学习的未来研究者有所裨益。