用于训练残差网络的差分博弈论神经优化器
机器学习
2020-07-20 v1 最优化与控制
机器学习
摘要
深度神经网络（DNNs）训练与最优控制理论之间的联系，作为一种算法设计的原理性工具已引起相当关注。差分动态规划（DDP）神经优化器是沿此方向最近提出的方法。尽管其经验成功，其适用性一直局限于前馈网络，且这种受轨迹优化启发的框架能否推广至现代架构仍不清楚。本工作中，我们推导了一个广义 DDP 优化器，可接受残差连接与卷积层。所得最优控制表示容许一种博弈论视角，其中训练残差网络可解释为状态增广动力系统上的合作轨迹优化。该博弈论 DDP（GT-DDP）优化器享有先前工作中相同的理论联系，却生成复杂得多的更新规则，能更好地利用网络传播过程中的可用信息。在图像分类数据集（如 MNIST 与 CIFAR100）上的评估显示，相较于现有方法，其在训练收敛与方差缩减上均有提升。我们的方法凸显了架构感知优化所带来的益处。
引用
@article{arxiv.2007.08880,
title = {A Differential Game Theoretic Neural Optimizer for Training Residual Networks},
author = {Guan-Horng Liu and Tianrong Chen and Evangelos A. Theodorou},
journal= {arXiv preprint arXiv:2007.08880},
year = {2020}
}