不同神经网络架构中拓扑结构的表征
代数拓扑
2024-07-16 v3 范畴论
摘要
在未来，理解神经网络内部运行情况将至关重要，因为它们将变得更加强大且广泛部署。本工作旨在使用 TDA 方法分析神经表征。我们发展了用于分析不同架构表征的方法，并检查如何获得有效结果。我们的发现表明，去除异常值对结果影响不大，而我们应该比较相同元素数量的表征。我们对 ResNet、VGG19 和 ViT 架构应用了这些方法，发现其中存在 substantial 差异以及一些相似之处。此外，我们确定，具有相似架构的模型倾向于具有相似的表征拓扑，而具有更多层数的模型会更平滑地改变其拓扑。 Furthermore，我们发现预训练模型和微调模型的拓扑在中间和最终层开始不同，而在初始层保持相当相似。这些发现表明 TDA 在神经网络行为分析中具有有效性。
引用
@article{arxiv.2407.06285,
title = {Diagrammatic sets as a model of homotopy types},
author = {Clémence Chanavat and Amar Hadzihasanovic},
journal= {arXiv preprint arXiv:2407.06285},
year = {2024}
}
备注
29 pages. v2: Removed the redundant def 1.18, v3: Fixed imprecision introduced in v2