脊、神经网络与 Radon 变换
泛函分析
2022-03-08 v1 机器学习
摘要
脊是一类由一维剖面(激活)和多维方向向量刻画的函数。脊出现在神经网络理论中作为神经元效应的函数描述子,其中方向向量由线性权重编码。在本文中,我们研究 Radon 变换关于脊以及神经网络刻画的性质。我们引入了一类广泛的超球面 Banach 子空间(包括相关的测度子空间),在其上反投影算子是可逆的。我们也给出了反投影算子可延拓至完整母空间且其零空间可识别为 Banach 补的条件。从第一性原理出发,我们随后刻画了处于滤波后 Radon 变换值域中的采样泛函。接下来,我们将脊的定义推广到任意分布剖面,并完全一般地确定了它们的(滤波)Radon 变换。最后,我们应用我们的形式体系来澄清并简化文献中出现的关于 ReLU 网络最优性的一些结果与证明。
引用
@article{arxiv.2203.02543,
title = {Ridges, Neural Networks, and the Radon Transform},
author = {Michael Unser},
journal= {arXiv preprint arXiv:2203.02543},
year = {2022}
}