深度学习的最优控制方法及在离散权值神经网络中的应用
机器学习
2018-06-05 v2
摘要
深度学习被表述为一个离散时间最优控制问题。这使人们能够刻画最优性的必要条件，并开发不依赖于可训练参数梯度的训练算法。特别地，我们引入基于庞特里亚金极大值原理的离散时间逐次逼近法（MSA）来训练神经网络。获得了离散 MSA 的严格误差估计，阐明了其动力学及稳定化算法的手段。所发展方法被以颇为原则性的方式应用于训练权值约束取离散集合值的神经网络。我们取得了有竞争力的性能，且有趣的是，在三元网络情形下得到非常稀疏的权值，这可能有助于在低内存设备上的模型部署。
引用
@article{arxiv.1803.01299,
title = {An Optimal Control Approach to Deep Learning and Applications to Discrete-Weight Neural Networks},
author = {Qianxiao Li and Shuji Hao},
journal= {arXiv preprint arXiv:1803.01299},
year = {2018}
}