卷积神经网络激活值的拓扑实验观测
机器学习
2022-12-02 v1 计算几何
摘要
拓扑数据分析（TDA）是计算数学的一个分支，桥接代数拓扑与数据科学，提供复杂结构的紧凑、抗噪表示。深度神经网络（DNNs）学习与模型架构定义的一系列变换相关的数百万参数，导致输入数据的高维、难以解释的内部表示。随着DNNs在我们社会多个领域日益普及，人们越来越认识到需要数学方法来帮助分析人员、研究人员与从业者理解和解释这些模型的内部表示如何与最终分类相关联。本文应用TDA的前沿技术，旨在深入认识用于图像分类的卷积神经网络的可解释性。我们使用两种常见TDA方法探索将隐藏层激活值建模为高维点云的若干方法，并提供实验证据表明这些点云捕获了关于模型过程的有价值结构信息。首先，我们证明基于持续同调的距离度量可用于量化层间有意义差异，并在现有神经网络可解释性表示相似性度量的更广义背景下讨论这些距离。其次，我们展示mapper图可提供关于这些模型在各层如何组织层次化类别语义的洞察。这些观测表明TDA是帮助深度学习从业者解锁其模型隐藏结构的有用工具。
引用
@article{arxiv.2212.00222,
title = {Experimental Observations of the Topology of Convolutional Neural Network Activations},
author = {Emilie Purvine and Davis Brown and Brett Jefferson and Cliff Joslyn and Brenda Praggastis and Archit Rathore and Madelyn Shapiro and Bei Wang and Youjia Zhou},
journal= {arXiv preprint arXiv:2212.00222},
year = {2022}
}
备注
Accepted at AAAI 2023. This version includes supplementary material