连续分段线性函数的稳定参数化
数值分析
2022-03-11 v1 数值分析
摘要
在深度学习中扮演重要角色的修正线性单元（ReLU）神经网络生成连续分段线性（CPWL）函数。尽管它们提供了强大的参数化表示，参数空间与函数空间之间的映射缺乏稳定性。本文研究了一种依赖于局部帽基函数的 CPWL 函数替代表示。其前提是任意 CPWL 函数可由一个三角剖分及其在网格点上的取值所确定。我们给出了（任意维数下）使帽函数构成 Riesz 基的三角剖分的充要条件，这保证了参数与相应 CPWL 函数之间的联系稳定且唯一。此外，我们给出了该局部表示的 条件数的估计。最后，作为我们框架的一个特例，我们关注于以控制点置于均匀网格上的 的系统参数化。特别地，我们选取作为单个线性盒样条平移副本的帽基函数。在此设定下，我们证明了对条件数的一般估计是最优的。我们还将局部表示与基于因果类 ReLU 函数平移的非局部表示联系起来。
引用
@article{arxiv.2203.05261,
title = {Stable Parametrization of Continuous and Piecewise-Linear Functions},
author = {Alexis Goujon and Joaquim Campos and Michael Unser},
journal= {arXiv preprint arXiv:2203.05261},
year = {2022}
}