深度神经网络的逐层仿射学习
机器学习
2023-07-12 v2 数值分析
数值分析
最优化与控制
摘要
本文提出一种用于构建深度神经网络（DNN）的逐层仿射学习（SAL）模型。传统上，DNN通过求解非凸优化问题来构建。由于其非凸性以及层数众多，此类问题在数值上往往难以求解。为应对这一挑战，受人类教育系统的启发，本文作者近期提出了多年级深度学习（MGDL）模型。MGDL模型将DNN的学习分为多个年级，每个年级构建一个层数较少的浅层DNN。MGDL模型仍需求解若干非凸优化问题。所提出的SAL模型由MGDL模型演变而来。注意到DNN的每一层由一个仿射映射后接一个激活函数构成，我们提出通过求解二次/凸优化问题来学习仿射映射，其中激活函数仅在该层的权重矩阵和偏置向量训练完成后才涉及。在函数逼近的语境下，对于给定的函数，SAL模型生成该函数的展开式，其自适应基函数以DNN的形式呈现。我们建立了由SAL模型生成的系统的毕达哥拉斯恒等式和帕塞瓦尔恒等式。此外，我们给出了SAL过程的收敛定理：要么在有限个年级后终止，要么其最优误差函数的范数随着年级数趋于无穷而严格递减至一个极限。进一步地，我们给出了概念验证的数值例子，表明所提出的SAL模型显著优于传统深度学习模型。
引用
@article{arxiv.2305.07996,
title = {Successive Affine Learning for Deep Neural Networks},
author = {Yuesheng Xu},
journal= {arXiv preprint arXiv:2305.07996},
year = {2023}
}