基于微分几何分析神经网络的信息流
机器学习
2026-01-26 v1 符号计算
摘要
本文提供了一种新颖的视角来解决神经网络（NN）数据流问题，即识别NN连接中最重要的连接，以提升整个模型的性能。通过图论的视角来理解NN数据流，为符号化NN分析（如鲁棒性分析或模型修复）提供了工具。不同于基于信息论的标准NN数据流分析方法，我们采用图曲率的概念，具体为Ollivier-Ricci曲率（ORC）。ORC已成功用于 various领域如道路交通、生物和社会网络中识别重要图边。特别是，具有负ORC的边被视为瓶颈，因而对图的整体连通性至关重要，而具有正ORC的边则不重要。我们在NN情境下采用这种直觉：1）构造由NN结构诱导的图，并在ORC基础上引入神经曲率（NC）的概念；2）基于一组输入示例的激活模式计算曲率；3）旨在证明NC确实可用于根据其对整个NN功能的重要性对边进行排序。我们通过修剪实验评估了该方法，表明删除负ORC边会迅速降低NN整体性能，而正ORC边几乎没有影响。该方法在三个图像数据集（MNIST、CIFAR-10和CIFAR-100）上的多个训练模型上进行评估。结果表明，该方法比现有SOTA修剪方法能识别更多无关紧要的边。
引用
@article{arxiv.2601.16366,
title = {Analyzing Neural Network Information Flow Using Differential Geometry},
author = {Shuhang Tan and Jayson Sia and Paul Bogdan and Radoslav Ivanov},
journal= {arXiv preprint arXiv:2601.16366},
year = {2026}
}