选择你的神经元：通过神经元重要性融入领域知识
计算机视觉与模式识别
2018-08-09 v1
摘要
在用于图像级分类任务的卷积神经网络中，单个神经元已被证明能隐式学习语义上有意义的概念，从简单纹理和形状到整体或部分对象——形成通过学习过程获得的“概念词典”。在这项工作中，我们基于这一观察引入了一种简单、高效的零样本学习（zero-shot learning）方法。我们的方法称为神经元重要性感知权重迁移（Neuron Importance-Aware Weight Transfer, NIWT），学习将关于新颖“未见”类的领域知识映射到该学习到的概念词典上，然后优化能够有效组合这些概念的网络参数——本质上是通过发现和组合深度网络中学习到的语义概念来学习分类器。我们的方法在 CUBirds 和 AWA2 广义零样本学习基准上显示出相对于先前方法的改进。我们在包括属性和自然语言描述在内的多种语义输入作为外部领域知识上演示了我们的方法。此外，通过学习逆映射，NIWT 可以为新学习的分类器所做的预测提供视觉和文本解释，并提供神经元名称。我们的代码可在 https://github.com/ramprs/neuron-importance-zsl 获取。
引用
@article{arxiv.1808.02861,
title = {Choose Your Neuron: Incorporating Domain Knowledge through Neuron-Importance},
author = {Ramprasaath R. Selvaraju and Prithvijit Chattopadhyay and Mohamed Elhoseiny and Tilak Sharma and Dhruv Batra and Devi Parikh and Stefan Lee},
journal= {arXiv preprint arXiv:1808.02861},
year = {2018}
}
备注
In Proceedings of ECCV 2018