NeuroX：一个用于分析神经网络中单个神经元的工具包
计算与语言
2018-12-27 v1
摘要
我们提出一个工具包以促进对神经网络模型的解读与理解。该工具包提供若干方法，用以识别相对于模型自身或外部任务的显著神经元。用户可可视化所选神经元，将其消融以度量其对模型精度的影响，并在测试时操控它们以控制模型行为。此类分析有潜力作为多个研究方向的跳板，例如理解模型、更优的架构选择、模型蒸馏与控制数据偏差。
引用
@article{arxiv.1812.09359,
title = {NeuroX: A Toolkit for Analyzing Individual Neurons in Neural Networks},
author = {Fahim Dalvi and Avery Nortonsmith and D. Anthony Bau and Yonatan Belinkov and Hassan Sajjad and Nadir Durrani and James Glass},
journal= {arXiv preprint arXiv:1812.09359},
year = {2018}
}
备注
AAAI Conference on Artificial Intelligence (AAAI 2019), Demonstration track, pages 2