有限资源下的高效训练
机器学习
2023-01-24 v1 计算机视觉与模式识别
神经与进化计算
摘要
训练时间预算和数据集规模是影响深度神经网络（DNN）性能的因素之一。本文表明，在训练时间预算和数据集规模这两个因素受限时，神经架构搜索（NAS）、超参数优化（HPO）和数据增强能帮助 DNN 表现得好得多。然而，在低资源下搜索最优架构、最佳超参数值以及良好的数据增强技术组合需要进行大量实验。我们提出以三步实现该目标的方法：在保持与原模型相当性能的同时通过压缩模型减少训练周期时间，在数据集较小时防止模型过拟合，以及进行超参数调优。我们使用 NOMAD（一款基于无导数算法的黑箱优化软件）来进行 NAS 和 HPO。我们的工作在 ICLR 2021 硬件感知高效训练（HAET）挑战赛的 Mini-ImageNet 微小子集上取得了 86.0% 的准确率，并在比赛中获得第二名。比赛结果见 haet2021.github.io/challenge，源代码见 github.com/DouniaLakhmiri/ICLR_HAET2021。
引用
@article{arxiv.2301.09264,
title = {Efficient Training Under Limited Resources},
author = {Mahdi Zolnouri and Dounia Lakhmiri and Christophe Tribes and Eyyüb Sari and Sébastien Le Digabel},
journal= {arXiv preprint arXiv:2301.09264},
year = {2023}
}