用于神经网络在线训练的事件触发控制
机器学习
2020-03-24 v1 机器学习
摘要
卷积神经网络（CNN）已成为图像分类任务最常用的方法。在其训练过程中，学习率和梯度是影响模型收敛速度的两个关键因素。通常的学习率策略是基于时间的，即随时间单调衰减。最近的先进方法聚焦于自适应梯度算法，即Adam及其变体。在本文中我们考虑在线学习场景，并提出两个事件触发（Event-Based）控制回路来调整经典算法E（指数）/PD（比例微分）控制的学习率。第一个事件触发控制回路将被实现以防止当模型接近最优值时学习率突然下降。第二个事件触发控制回路将基于学习速度决定何时切换到下一个数据批次。使用两个先进的机器学习图像数据集（CIFAR-10和CIFAR-100）提供了实验评估。结果表明，事件触发E/PD优于原始算法（更高的最终准确率、更低的最终损失值），并且双事件触发E/PD能够加速训练过程，与先进算法相比最多节省67%的训练时间，甚至取得更好的性能。
引用
@article{arxiv.2003.09503,
title = {Event-Based Control for Online Training of Neural Networks},
author = {Zilong Zhao and Sophie Cerf and Bogdan Robu and Nicolas Marchand},
journal= {arXiv preprint arXiv:2003.09503},
year = {2020}
}