难度定义重要吗？评分函数及其在课程学习中的作用
机器学习
2024-11-05 v1
摘要
课程学习（CL）描述了一种机器学习训练策略，其中样本根据其难度逐渐引入训练过程。尽管文献中存在部分矛盾的证据，但由于其利用受人类启发的课程来实现更高模型性能的承诺，CL 在深度学习研究中仍然很受欢迎。然而，任何必要的难度定义所带来的主观性和偏差，特别是那些源自模型或训练统计的排序中的偏差，很少被研究。为了更深入地揭示潜在的未解问题，我们对最常见的样本难度估计评分函数的鲁棒性和相似性及其在 CL 中的潜在益处进行了广泛研究，分别使用流行的基准数据集 CIFAR-10 和 DCASE2020 挑战中的声学场景分类任务作为计算机视觉和计算机听觉的代表。我们报告了评分函数对训练设置（包括随机性）的强烈依赖性，这可以通过集成评分部分缓解。虽然我们没有发现 CL 相对于均匀采样的普遍优势，但我们观察到，基于 CL 的训练中数据呈现的顺序对模型性能起着重要作用。此外，我们发现评分函数在随机种子间的鲁棒性与 CL 性能正相关。最后，我们发现使用不同 CL 策略训练的模型通过后期融合提升预测能力而相互补充，这可能是由于学习概念的差异。伴随着我们的发现，我们发布了 aucurriculum 工具包（https://github.com/autrainer/aucurriculum），以模块化方式实现样本难度和基于 CL 的训练。
引用
@article{arxiv.2411.00973,
title = {Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning},
author = {Simon Rampp and Manuel Milling and Andreas Triantafyllopoulos and Björn W. Schuller},
journal= {arXiv preprint arXiv:2411.00973},
year = {2024}
}