神经表示拓扑分类的数秩分解
机器学习
2024-06-05 v3 代数拓扑
神经元与认知
摘要
神经网络可视为对输入数据集施加变换。它们如何改变数据集的拓扑结构往往对许多任务具有实际意义，尤其是那些需要非同胚映射才能获得最优解的任务，如分类问题。在本工作中，我们利用神经网络等价于连续分段仿射映射的这一事实，其秩可用于定位输入空间中发生非同胚变换的区域，从而导致输入数据集拓扑结构的改变。我们的ethods 使我们能够运用相对 homology 序列，而该序列可用于研究流形 与其子集 的商空间的同调群，只要这些空间满足最小属性。在示范性研究中，我们探讨了随网络宽度和平均权重变化而低秩（拓扑改变）仿射映射的存在情况。我们证明，在随机初始化的狭窄网络中，数据流形的（共）同调群会发生变化。随着宽度增加，输入流形的同调群更可能保持不变。我们最后通过构建高度非随机的宽网络而不具备此属性，并将此非随机范例与生物神经网络的标志性特征达尔原理 (Dale's principle) 联系起来。最终，我们研究了在 MNIST 以及 toy 分类和回归任务上的简单前馈网络，表明网络根据其训练任务的连续性，以不同方式操作数据的拓扑。
引用
@article{arxiv.2404.19710,
title = {A rank decomposition for the topological classification of neural representations},
author = {Kosio Beshkov and Gaute T. Einevoll},
journal= {arXiv preprint arXiv:2404.19710},
year = {2024}
}