全局预测，局部修正：神经网络的并行时序最优控制
最优化与控制
2019-02-08 v1 机器学习
系统与控制
摘要
动力系统最优控制与神经网络之间的联系已从理论和实际角度被证明是有益的。若干研究者利用这些联系来考察不同神经网络架构的稳定性，并开发内存高效的训练算法。我们也采用神经网络的动力系统视角，但我们的目标与早期工作不同。我们利用动力系统、最优控制与神经网络之间的联系来开发一种新颖的分布式优化算法。所提算法解决了神经网络优化分布式算法的最显著障碍：网络权重在数据前向传播和梯度反向传播完成之前无法更新。利用动力系统观点，我们将（残差）神经网络的各层解释为动力系统离散化后的动力学，并 exploited 最优控制问题的协态（伴随）与反向传播之间的关系。随后我们开发了一种并行时序方法，该方法无需等待前向或反向传播算法完全完成即可更新网络参数。我们建立了所提算法的收敛性。初步数值结果表明该算法具有竞争力且比现有最优方法更高效。
引用
@article{arxiv.1902.02542,
title = {Predict Globally, Correct Locally: Parallel-in-Time Optimal Control of Neural Networks},
author = {Panos Parpas and Corey Muir},
journal= {arXiv preprint arXiv:1902.02542},
year = {2019}
}