基于 CNN 的图像分类中学习曲线估计的策略与影响
机器学习
2023-10-13 v1 神经与进化计算
摘要
学习曲线是衡量机器学习模型在给定一定训练数据量时性能如何提升的指标。在广泛的应用和模型中观察到，学习曲线在很大程度上遵循幂律行为。这使得给定任务下不同模型的性能在一定程度上可预测，并为从业者探索当前问题可能的模型和超参数空间时减少训练时间提供了机会。通过仅从数据小子集上的训练估计模型的学习曲线，只需考虑最佳模型在完整数据集上训练。然而，如何选择子集大小以及在这些子集上采样模型的频率以获得估计尚未被研究。鉴于目标是减少总体训练时间，需要以时间高效的方式采样性能且仍能产生准确学习曲线估计的策略。本文中我们 formulation 了这些策略的框架并提出了若干策略。此外，我们在模拟学习曲线以及使用流行数据集和模型进行图像分类任务的实验中评估了这些策略。
引用
@article{arxiv.2310.08470,
title = {Strategies and impact of learning curve estimation for CNN-based image classification},
author = {Laura Didyk and Brayden Yarish and Michael A. Beck and Christopher P. Bidinosti and Christopher J. Henry},
journal= {arXiv preprint arXiv:2310.08470},
year = {2023}
}