学习率课程
摘要
大多数课程学习方法需要一种按难度对数据样本排序的方法，这往往繁琐易错。在本工作中，我们提出一种称为学习率课程（Learning Rate Curriculum, LeRaC）的新型课程学习方法，该方法利用为神经网络每一层使用不同学习率，在初始训练轮次中创建与数据无关的课程。更具体地说，LeRaC为更靠近输入的神经层分配较高的学习率，随着层远离输入逐渐降低学习率。在最初的训练迭代中，学习率以不同速度增加，直到它们全部达到相同的值。从此时起，神经网络模型按常规方式训练。这创建了一种模型级课程学习策略，无需按难度对样本排序，且兼容任意神经网络，无论架构如何均能生成更高的性能水平。我们在来自计算机视觉（CIFAR-10、CIFAR-100、Tiny ImageNet、ImageNet-200、Food-101、UTKFace、PASCAL VOC）、语言（BoolQ、QNLI、RTE）和音频（ESC-50、CREMA-D）领域的12个数据集上进行了综合实验，考虑了多种卷积（ResNet-18、Wide-ResNet-50、DenseNet-121、YOLOv5）、循环（LSTM）和Transformer（CvT、BERT、SepTr）架构。我们将我们的方法与常规训练机制以及最先进的与数据无关的课程学习方法Curriculum by Smoothing（CBS）进行比较。与CBS不同，我们对标准训练机制的性能提升在所有数据集和模型上都是一致的。此外，我们在训练时间上显著超越CBS（LeRaC相对于标准训练机制没有额外成本）。我们的代码可在 https://github.com/CroitoruAlin/LeRaC 免费获取。
引用
@article{arxiv.2205.09180,
title = {Learning Rate Curriculum},
author = {Florinel-Alin Croitoru and Nicolae-Catalin Ristea and Radu Tudor Ionescu and Nicu Sebe},
journal= {arXiv preprint arXiv:2205.09180},
year = {2024}
}
备注
Accepted at the International Journal of Computer Vision