用于深度学习的样条参数化神经网络控制
机器学习
2021-03-02 v1
摘要
基于将深度学习视为最优控制问题的连续性解释，本文研究了采用 B 样条基函数跨层参数化神经网络控制的好处。我们不为离散化 ODE 网络的每一层配备一组可训练权重，而是选择固定数量的 B 样条基函数，其系数为神经网络的可训练参数。将可训练参数与神经网络的层解耦，使我们能够独立于优化学习问题来研究和调整网络传播的精度。我们通过数值实验表明，基于样条的神经网络由于网络传播的稳定性和精度提高，增强了对超参数学习问题的鲁棒性。此外，直接对 B 样条系数而非层权重进行训练，能够减少可训练参数的数量。
引用
@article{arxiv.2103.00301,
title = {Spline parameterization of neural network controls for deep learning},
author = {Stefanie Günther and Will Pazner and Dongping Qi},
journal= {arXiv preprint arXiv:2103.00301},
year = {2021}
}
备注
19 pages, 9 figures