循环课程学习
机器学习
2022-03-17 v2 人工智能
摘要
人工神经网络（ANN）受人类学习启发。然而，与人类的受教育过程不同，经典 ANN 不使用课程。课程学习（CL）指的是 ANN 训练中使用有意义顺序样本的过程。使用 CL 时，训练从数据集的一个子集开始并在整个训练中不断加入新样本，或者从整个数据集开始并减少所用样本数。通过训练数据集规模的这些改变，课程、反课程或随机课程方法可比朴素方法获得更好的结果。然而，尚未找到一种对各种架构和数据集普遍高效的 CL 方法。本文中，我们提出循环课程学习（CCL），其中训练期间使用的数据规模呈循环式变化，而非简单地增减。不同于仅用朴素方法或仅用课程方法，像 CCL 中那样循环地使用两种方法可提供更成功的结果。我们在图像与文本分类任务上的 18 个不同数据集和 15 种架构上测试了该方法，并获得了优于无 CL 及现有 CL 方法的结果。我们还从理论上证明，循环地应用 CL 与朴素方法比仅用 CL 或仅用朴素方法的误差更小。Cyclical Curriculum 的代码可在 https://github.com/CyclicalCurriculum/Cyclical-Curriculum 获取。
引用
@article{arxiv.2202.05531,
title = {Cyclical Curriculum Learning},
author = {H. Toprak Kesgin and M. Fatih Amasyali},
journal= {arXiv preprint arXiv:2202.05531},
year = {2022}
}
备注
Added references, corrected typos