基于持续同调的深度神经网络拓扑度量
机器学习
2021-06-08 v1 人工智能
摘要
深度神经网络（DNNs）的内部表示难以解读，这使其模型调参、训练过程控制与输出解释变得困难。本文中，我们提出一种通过拓扑数据分析（TDA）研究 DNN 内部表示的新方法。持续同调（PH）作为 TDA 中的杰出方法之一，被用于考察已训练 DNN 的复杂性。我们在已训练 DNN 上构造团复形并计算其一维 PH。PH 揭示了 DNN 中多个神经元在不同分辨率下的组合效应，这是不使用 PH 难以捕捉的。评估使用在 MNIST 与 CIFAR-10 数据集上训练的全连接网络（FCNs）以及结合 FCNs 与卷积神经网络（CNNs）的网络进行。评估结果表明，DNN 的 PH 同时反映了神经元冗余与问题难度，使 PH 成为研究 DNN 内部表示的突出方法之一。
引用
@article{arxiv.2106.03016,
title = {Topological Measurement of Deep Neural Networks Using Persistent Homology},
author = {Satoru Watanabe and Hayato Yamana},
journal= {arXiv preprint arXiv:2106.03016},
year = {2021}
}
备注
17 pages, 7 figures