单遍ImageNet
机器学习
2021-11-04 v1
摘要
我们提出单遍ImageNet（OPIN）问题，旨在研究深度学习在流式设置中的有效性。ImageNet是一个广为人知的基准数据集，帮助推动和评估了深度学习的最新进展。通常，深度学习方法在模型可以随机访问的静态数据上进行训练，在训练的每个周期（epoch）对数据集进行多次遍历并随机打乱。这种数据访问假设在许多现实场景中并不成立，在这些场景中，海量数据从流中收集，由于存储成本和隐私问题，存储和访问所有数据变得不切实际。对于OPIN，我们将ImageNet数据视为顺序到达，并且只有有限的内存预算来存储数据的一个小子集。我们观察到，在与多周期训练相同的训练设置下，单遍训练深度网络会导致预测准确率大幅下降。我们表明，尽管OPIN不同于典型的持续学习问题设置，但通过付出较小的内存成本并利用为持续学习开发的技术，可以显著缩小性能差距。我们建议使用OPIN来研究资源高效的深度学习。
引用
@article{arxiv.2111.01956,
title = {One Pass ImageNet},
author = {Huiyi Hu and Ang Li and Daniele Calandriello and Dilan Gorur},
journal= {arXiv preprint arXiv:2111.01956},
year = {2021}
}
备注
Accepted to NeurIPS 2021 Workshop on Imagenet: past, present and future