超越分类输出的可解释性：语义瓶颈网络
计算机视觉与模式识别
2019-07-30 v2 机器学习
摘要
当今的深度学习系统基于端到端训练提供高性能。尽管它们性能强大，但这些系统难以解释。为解决此问题，我们提出语义瓶颈网络（SBN）：具有语义可解释中间层的深度网络，所有下游结果均基于这些中间层。因此，关于最终预测基于什么的分析对工程师是透明的，并且故障情形和模式可通过高层推理进行分析和避免。我们给出一个街景分割的案例研究，以展示 SBN 的可行性与威力。具体而言，我们从一个性能良好的经典深度网络出发，将其改造以容纳包含任务相关语义概念（如物体部件和材料）的 SB-Layer。重要的是，尽管从数千（非语义特征）通道急剧降维至数十（语义概念）通道，我们仍能恢复最先进的性能。此外，我们展示了 SB-Layer 的激活如何用于网络故障情形的解释以及所得输出的置信度预测。例如，我们首次展示了在大多数预测上超过 99% 准确率的可解释分割结果。
引用
@article{arxiv.1907.10882,
title = {Interpretability Beyond Classification Output: Semantic Bottleneck Networks},
author = {Max Losch and Mario Fritz and Bernt Schiele},
journal= {arXiv preprint arXiv:1907.10882},
year = {2019}
}
备注
Correct figures in appendix