残差网络族的动力系统启发式自适应步长控制器
机器学习
2019-11-26 v1 机器学习
摘要
残差网络与动力系统之间的对应关系促使研究者借助常微分方程系统数值方法中成熟的工具来揭示 ResNets 的物理特性。Runge-Kutta-Fehlberg 方法是一种自适应步长方法，在稳定性与效率之间取得了良好权衡。我们是否也能为 ResNets 设计一种自适应步长以同时保证稳定性和性能？在本研究中，我们分析步长对 Euler 方法与 ResNets 的影响。我们建立了含步长和权重参数的 ResNets 稳定性条件，并指出步长对稳定性和性能的影响。受我们分析启发，我们开发了一种依赖于当前步参数且感知先前步的自适应步长控制器。该控制器与网络训练联合优化，从而可自适应调整可变步长与演化时间。我们在 ImageNet 和 CIFAR 上开展实验以证明有效性。结果表明，所提方法能够在不引入推理阶段额外开销的情况下提升稳定性和准确率。
引用
@article{arxiv.1911.10305,
title = {Dynamical System Inspired Adaptive Time Stepping Controller for Residual Network Families},
author = {Yibo Yang and Jianlong Wu and Hongyang Li and Xia Li and Tiancheng Shen and Zhouchen Lin},
journal= {arXiv preprint arXiv:1911.10305},
year = {2019}
}
备注
AAAI-20