上下文语义可解释性
计算机视觉与模式识别
2020-09-21 v1 人工智能
机器学习
摘要
卷积神经网络（CNN）已知能学习捕捉与任务相关概念的影像表示，但是以隐式方式进行的，这妨碍了模型可解释性。然而，可以说这样的表示隐藏于神经元中，并可通过教导模型识别场景中存在的语义可解释属性而显式化。我们称这样一种中间层为语义瓶颈（semantic bottleneck）。一旦属性被学习，它们可被重新组合以得到最终决策，并提供准确预测及 CNN 决策背后的显式推理。本文中，我们考察捕捉上下文的语义瓶颈：我们希望属性以少量有意义元素成组，并联合参与最终决策。我们采用一个两层语义瓶颈，将属性聚为可解释、稀疏的组，使其依据上下文对最终输出有不同贡献。我们在地表景观美感度估计任务上测试我们的上下文语义可解释瓶颈（CSIB），并使用辅助数据库（SUN Attributes）训练该语义可解释瓶颈。我们的模型在应用于 Flickr 图像真实世界测试集时，预测精度与不可解释基线相当，同时为每次预测提供清晰可解释的解释。
引用
@article{arxiv.2009.08720,
title = {Contextual Semantic Interpretability},
author = {Diego Marcos and Ruth Fong and Sylvain Lobry and Remi Flamary and Nicolas Courty and Devis Tuia},
journal= {arXiv preprint arXiv:2009.08720},
year = {2020}
}