通过注意力图将人类知识嵌入深度神经网络
计算机视觉与模式识别
2019-12-20 v4
摘要
在这项工作中，我们旨在实现一种将人类知识嵌入深度神经网络的方法。虽然将人类知识嵌入的传统方法已应用于非深度机器学习，但由于模型参数数量巨大，将其应用于深度学习模型具有挑战性。为应对该问题，我们关注注意力分支网络（ABN）的注意力机制。本文提出一种利用由人类专家手动编辑的单通道注意力图进行微调的方法。我们的微调方法能够训练网络，使其输出的注意力图与编辑后的注意力图相对应。结果，微调后的网络能够输出考虑人类知识的注意力图。在 ImageNet、CUB-200-2010 和 IDRiD 上的实验结果表明，可以获得用于视觉解释的清晰注意力图并提升分类性能。我们的发现可成为一种通过视觉界面进行人类直观编辑来优化网络的新框架，并为除改进视觉解释之外的人机协作提供新的可能性。
引用
@article{arxiv.1905.03540,
title = {Embedding Human Knowledge into Deep Neural Network via Attention Map},
author = {Masahiro Mitsuhara and Hiroshi Fukui and Yusuke Sakashita and Takanori Ogata and Tsubasa Hirakawa and Takayoshi Yamashita and Hironobu Fujiyoshi},
journal= {arXiv preprint arXiv:1905.03540},
year = {2019}
}
备注
10 pages, 10 figures