基于随机傅里叶神经网络的无全局优化深度学习
机器学习
2025-03-07 v2 数值分析
数值分析
机器学习
摘要
我们提出了一种用于具有随机复指数激活函数的深度神经网络的新训练算法。我们的做法采用马尔可夫链蒙特卡洛抽样程序来迭代训练网络层，避免全局和基于梯度的优化，同时保持误差控制。它始终能够达到残差网络中使用复指数激活函数的理论逼近率，这由网络复杂度决定。此外，它能够高效地学习多尺度和高频特征，产生可解释的参数分布。尽管使用正弦基函数，我们仍未观察到在逼近不连续目标函数时出现 Gibbs 现象。
引用
@article{arxiv.2407.11894,
title = {Deep Learning without Global Optimization by Random Fourier Neural Networks},
author = {Owen Davis and Gianluca Geraci and Mohammad Motamed},
journal= {arXiv preprint arXiv:2407.11894},
year = {2025}
}