用于神经网络在线训练的反馈控制
机器学习
2019-11-19 v1 机器学习
摘要
卷积神经网络（CNNs）常用于图像分类任务，这带来了其在数据流上应用的挑战。在其训练过程中，适应通常通过调节学习率来实现。通常的学习率策略是基于时间的，即单调下降。在本文中，我们主张转向基于性能的调节，以提高学习效率。我们提出 E（指数）/PD（比例微分）-控制，一种条件学习率策略，它将基于 CNN 损失函数的反馈 PD 控制器与指数控制信号相结合，以智能地提升学习并调整 PD 参数。我们提供了稳定性证明，以及使用两个最先进的图像数据集（CIFAR-10 和 Fashion-MNIST）的实验评估。结果表明，相较于相关的工作具有更好的性能（更快的网络准确率增长并达到更高水平），且 E/PD-控制在其参数化方面具有鲁棒性。
引用
@article{arxiv.1911.07710,
title = {Feedback Control for Online Training of Neural Networks},
author = {Zilong Zhao and Sophie Cerf and Bogdan Robu and Nicolas Marchand},
journal= {arXiv preprint arXiv:1911.07710},
year = {2019}
}