采样神经元的“逆集”：一种理解神经网络的方法
计算机视觉与模式识别
2020-12-29 v2 机器学习
机器学习
摘要
随着深度神经网络在计算机视觉中的近期成功，理解这些网络的内部工作机制变得重要。给定神经元代表什么？神经元捕获的概念可能难以理解或用简单术语表达。我们在本文中提出的方法是通过刻画激发给定神经元到某一水平的输入空间区域来表征它；我们称之为逆集。这个逆集是一个复杂的高维对象，我们通过基于优化的采样方法来探索。由人类检查该集合的样本可以揭示有助于理解神经元的规律性。这超越了限于寻找最大化激活该神经元的图像或使用马尔可夫链蒙特卡洛来采样图像的方法，但后者非常慢、生成的样本多样性少且缺乏对生成样本激活值的控制。我们的方法还允许我们探索多个神经元逆集的交集及其他变体。
引用
@article{arxiv.1910.04857,
title = {Sampling the "Inverse Set" of a Neuron: An Approach to Understanding Neural Nets},
author = {Suryabhan Singh Hada and Miguel Á. Carreira-Perpiñán},
journal= {arXiv preprint arXiv:1910.04857},
year = {2020}
}
备注
15 pages, 9 figures