神经网络内部机制探析：基于功能性神经元群体与网络消融刻画所学表征
神经与进化计算
2020-05-12 v2 机器学习
神经元与认知
摘要
随着人工神经网络在自动驾驶或医疗诊断等安全关键和伦理挑战领域的应用，对其决策过程透明度的需求稳步增长。我们针对当今神经网络缺乏透明度的问题，阐明网络中单个神经元和神经元组在完成所学任务时所扮演的角色。受神经科学领域研究的启发，我们通过激活模式和网络消融来刻画所学表征，揭示出功能性神经元群体：a）针对特定刺激协同响应，或 b）在被消融后对网络性能具有相似影响。我们发现，神经元的激活幅度或选择性，及其对网络性能的影响，均不足以单独作为其对于整体任务重要性的指标。我们认为此类指标对于迁移学习和现代神经科学的未来进展至关重要。
引用
@article{arxiv.2004.01254,
title = {Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations},
author = {Richard Meyes and Constantin Waubert de Puiseau and Andres Posada-Moreno and Tobias Meisen},
journal= {arXiv preprint arXiv:2004.01254},
year = {2020}
}
备注
17 pages, 14 figures, adjusted "under review" statement