用代数拓扑刻画神经网络嵌入空间演化
机器学习
2023-11-10 v2 计算机视觉与模式识别
摘要
我们通过 Betti 数研究特征嵌入空间的拓扑如何随着其穿过训练良好的深度神经网络（DNN）各层而变化。受现有在浅层全连接网络（FCN）上使用单纯复形的研究启发，我们改用立方同调（Cubical homology）进行扩展分析，涵盖多种流行深度架构与真实图像数据集。我们证明随着深度增加，拓扑复杂的数据集被转化为简单的数据集，使 Betti 数达到其最小可能值。拓扑复杂度的衰减速率（作为一种度量）有助于量化架构选择对泛化能力的影响。有趣的是，从表示学习视角，我们强调了若干不变性，如（1）相似数据集上架构的拓扑不变性；（2）变深度架构下数据集嵌入空间的拓扑不变性；（3）嵌入空间对输入分辨率/尺寸的拓扑不变性；（4）数据子采样的拓扑不变性。为进一步证明网络的表达能力与泛化能力之间的联系，我们考虑为下游分类任务（迁移学习）排序预训练模型。相较于现有方法，所提度量与通过微调预训练模型实际可达准确率具有更好相关性。
引用
@article{arxiv.2311.04592,
title = {On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology},
author = {Suryaka Suresh and Bishshoy Das and Vinayak Abrol and Sumantra Dutta Roy},
journal= {arXiv preprint arXiv:2311.04592},
year = {2023}
}