提升深度神经网络推理过程的透明性
机器学习
2019-03-14 v1 人工智能
机器学习
摘要
深度学习技术近来快速发展，并成为广泛系统的必要组成部分。然而，深度学习的推理过程是黑盒的，不太适合必须表现出高透明性的安全关键系统。在本文中，为解决这一黑盒局限，我们开发了一种简单的分析方法，包括 1）结构特征分析：列出有助于推理过程的特征，2）语言特征分析：列出描述有助于推理过程的每个特征的视觉属性的自然语言标签，以及 3）一致性分析：测量输入数据、推理（标签）以及我们的结构和语言特征分析结果之间的一致性。我们的分析被简化以反映实际的推理过程从而实现高透明性，同时它不包含任何额外的黑盒机制（如用于高人类可读结果的 LSTM）。我们进行实验并从定性和定量两方面讨论分析结果，进而相信我们的工作提升了神经网络的透明性。通过 12,800 项人类任务评估，75% 的工人回答输入数据与我们的特征分析结果一致，70% 的工人回答推理（标签）与我们的特征分析结果一致。除对所提分析的评估外，我们发现我们的分析还提供建议或可能的后续行动，例如扩展神经网络复杂度或收集训练数据以改进神经网络。
引用
@article{arxiv.1903.05501,
title = {Improving Transparency of Deep Neural Inference Process},
author = {Hiroshi Kuwajima and Masayuki Tanaka and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:1903.05501},
year = {2019}
}
备注
11 pages, 14 figures, 1 table. This is a pre-print of an article accepted in "Progress in Artificial Intelligence" on 26 Feb 2019. The final authenticated version will be available online soon