谱神经网络：逼近理论与优化景观
机器学习
2023-10-03 v1 数值分析
偏微分方程分析
数值分析
机器学习
摘要
有大量基于从数据中提取谱几何信息的机器学习方法。然而，这些方法的许多实现通常依赖于传统的特征求解器，在实用的在线大数据场景中应用时存在局限。为应对其中部分挑战，研究者提出了训练神经网络以替代传统特征求解器的不同策略，其中一种方法称为谱神经网络（Spectral Neural Network, SNN）。本文研究 SNN 的关键理论方面。首先，我们定量揭示了神经元数量与神经网络所学谱几何信息量之间的权衡。其次，我们开启对 SNN 目标的优化景观的理论探索，以阐明 SNN 的训练动态。与典型的关于神经网络训练动态收敛到全局解的研究不同，SNN 因其非凸外围损失函数而带来额外的复杂性。
引用
@article{arxiv.2310.00729,
title = {Spectral Neural Networks: Approximation Theory and Optimization Landscape},
author = {Chenghui Li and Rishi Sonthalia and Nicolas Garcia Trillos},
journal= {arXiv preprint arXiv:2310.00729},
year = {2023}
}