关于 ReLU 神经网络的空间折叠
机器学习
2025-02-17 v1 神经与进化计算
摘要
近期的研究表明，ReLU 神经网络的连续层可几何学上理解为对输入空间进行空间折叠变换，从而揭示了自相似模式。本文对这一空间折叠现象进行首次定量分析。我们的研究方法聚焦于考察直路径在欧几里得输入空间中如何映射到哈姆斯特激活空间中的对应路径。在此过程中，直线的凸性通常会丧失，产生非凸的折叠行为。为量化这一效应，我们引入一种基于范围度量的新度量方法，类似于随机漫步中使用的方法，并证明了输入空间与激活空间中凸性概念的等价性。此外，我们还对用于几何分析基准测试的 CantorNet 以及用于图像分类基准测试的 MNIST 进行了经验分析。我们的工作通过利用几何折叠现象，拓展了对 ReLU 神经网络激活空间的理解，为这些模型如何处理输入信息提供了宝贵的见解。
引用
@article{arxiv.2502.09954,
title = {On Space Folds of ReLU Neural Networks},
author = {Michal Lewandowski and Hamid Eghbalzadeh and Bernhard Heinzl and Raphael Pisoni and Bernhard A. Moser},
journal= {arXiv preprint arXiv:2502.09954},
year = {2025}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR), 2025