NeuroCartography：深度神经网络中概念的可扩展自动可视化摘要
计算机视觉与模式识别
2021-08-31 v1
摘要
现有关于理解深度神经网络的研究通常聚焦于神经元层面的解释，这可能不足以把握多个神经元如何共同编码概念的全局图景。我们提出 NeuroCartography，一个可扩展地总结并可视化神经网络所学概念的交互式系统。它自动发现并分组检测相同概念的神经元，并描述这些神经元组如何交互以形成更高层概念及随后的预测。NeuroCartography 引入了两种可扩展的摘要技术：(1) 神经元聚类基于神经元所检测概念的语义相似性对神经元分组（例如，检测不同品种“狗脸”的神经元被归为一组）；(2) 神经元嵌入基于相关概念共现的频率编码其关联（例如，检测“狗脸”和“狗尾”的神经元在嵌入空间中放置得更近）。我们可扩展技术的核心在于能够高效计算所有神经元对的关系，其时间复杂度与神经元数量呈线性关系而非二次关系。NeuroCartography 可扩展到大数据，例如包含 120 万张图像的 ImageNet 数据集。该系统紧密协调的视图集成了这些可扩展技术以可视化概念及其关系，在神经元投影视图中将概念关联投影到二维空间，并在图视图中总结神经元簇及其关系。通过大规模人类评估，我们证明我们的技术发现的神经元组代表了连贯的、具有人类意义的概念。通过用例，我们描述了我们的方法如何实现有趣且令人惊讶的发现，例如相关与孤立概念的概念级联。NeuroCartography 可视化在现代浏览器中运行且已开源。
引用
@article{arxiv.2108.12931,
title = {NeuroCartography: Scalable Automatic Visual Summarization of Concepts in Deep Neural Networks},
author = {Haekyu Park and Nilaksh Das and Rahul Duggal and Austin P. Wright and Omar Shaikh and Fred Hohman and Duen Horng Chau},
journal= {arXiv preprint arXiv:2108.12931},
year = {2021}
}
备注
Accepted to IEEE VIS'21