KAKURENBO：深度神经网络训练中自适应隐藏样本
分布式、并行与集群计算
2023-10-17 v1 计算机视觉与模式识别
机器学习
摘要
本文提出一种在深度神经网络训练过程中隐藏最不重要样本以提升效率（即降低训练成本）的方法。利用训练期间的损失与预测置信度信息，我们基于样本对整体学习过程的贡献，自适应地确定在给定轮次中排除的样本，且不会显著损害精度。我们探讨了在考虑 SGD 更新次数减少情况下的收敛性质。在直接用于图像分类与分割的多种大规模数据集和模型上的实证结果表明，尽管带替换的重要性采样算法在大规模数据集上表现不佳，我们的方法可将总训练时间最多减少 22%，与基线相比仅使精度下降 0.4%。代码见 https://github.com/TruongThaoNguyen/kakurenbo
引用
@article{arxiv.2310.10102,
title = {KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training},
author = {Truong Thao Nguyen and Balazs Gerofi and Edgar Josafat Martinez-Noriega and François Trahay and Mohamed Wahib},
journal= {arXiv preprint arXiv:2310.10102},
year = {2023}
}
备注
Advances in Neural Information Processing Systems 2023 (NeurIPS 2023)