基于等势分布的自由结点样条和ReLU神经网络训练
机器学习
2025-01-24 v2 数值分析
数值分析
摘要
我们考虑使用带有矩形线性单元(ReLU)激活函数的浅层神经网络进行单变量非线性函数逼近的问题。我们指出，基于的逼近问题病态且随网络宽度增加，优化算法的行为会迅速恶化。这可能导致实际应用中显著差于理论表达能力或传统方法（如单变量自由结点样条(FKS)）的预期效果。单变量浅层ReLU神经网络与FKS在函数空间中保持相同，从而具有相同的理论表达能力。然而，FKS表示在结点数增加时保持良好的条件数。我们利用最优分段线性插值理论改进ReLU神经网络的训练程序。基于等势分布原理，我们提出了两种层次的FKS训练方法：首先求解寻找最优结点位置的非线性问题，然后通过解决近似线性、良条件的问题来确定FKS的最优权重和结点。FKS的训练提供了有效训练ReLU神经网络的见解，能够实现与目标函数相同精度的逼近。我们将ReLU神经网络的训练与等势分布-based损失相结合，以找到ReLU函数的断点。随后结合对ReLU神经网络逼近进行 preconditioning 以找到ReLU函数的尺度。该快速、良条件且可靠的方法找到对单变量目标函数的准确浅层ReLU神经网络逼近。我们在一系列规则、奇异和快速变化的目标函数上进行测试，取得良好结果，实现了浅层ReLU网络的表达能力。我们随后将结果扩展到更深的网络。
引用
@article{arxiv.2407.02153,
title = {Equidistribution-based training of Free Knot Splines and ReLU Neural Networks},
author = {Simone Appella and Simon Arridge and Chris Budd and Teo Deveney and Lisa Maria Kreusser},
journal= {arXiv preprint arXiv:2407.02153},
year = {2025}
}