调参或使用默认：数据高效图像分类基准测试
计算机视觉与模式识别
2021-08-31 v1 机器学习
摘要
在仅有少量标注数据可用的场景下，使用深度神经网络进行数据高效图像分类在过去一段时间里一直是一个活跃的研究领域。然而，由于现有工作使用不同的数据集进行评估且常常与采用默认超参数、未经调优的基线进行比较，已发表方法之间的客观对比十分困难。我们设计了一个数据高效图像分类基准，由六个跨越不同领域（如自然图像、医学影像、卫星数据）和数据类型（RGB、灰度、多光谱）的多样化数据集组成。利用该基准，我们重新评估了标准交叉熵基线以及2017至2021年间在知名会议上发表的八种数据高效深度学习方法。为了公平且真实的比较，我们在每个数据集上仔细调优了所有方法的超参数。令人惊讶的是，我们发现通过在独立的验证集上调整学习率、权重衰减和批量大小，得到一个极具竞争力的基线，其性能优于除一种专用方法外的所有方法，并与剩下的一种方法相当。
引用
@article{arxiv.2108.13122,
title = {Tune It or Don't Use It: Benchmarking Data-Efficient Image Classification},
author = {Lorenzo Brigato and Björn Barz and Luca Iocchi and Joachim Denzler},
journal= {arXiv preprint arXiv:2108.13122},
year = {2021}
}
备注
Accepted at the 2nd Visual Inductive Priors for Data-Efficient Deep Learning Workshop (ICCV 2021)