把握当下：基于瞬时不确定性样本的自适应批次选择
机器学习
2020-12-24 v2 机器学习
摘要
深度神经网络的精度受训练步骤中 mini-batch 构建质量的显著影响。本文提出一种称为 Recency Bias 的新型自适应批次选择算法，其利用在近期迭代中预测不一致的 uncertain 样本。每个训练样本的历史标签预测用于在其滑动窗口内评估预测不确定性。然后，下一 mini-batch 的采样概率按各训练样本的预测不确定性比例分配。借助该设计，Recency Bias 不仅加速训练步骤，还获得更精确的网络。我们在两项独立任务上通过广泛评估证明了 Recency Bias 的优越性。与现有批次选择方法相比，结果表明在固定挂钟训练时间内 Recency Bias 将测试误差降低多达 20.97%。同时，其达到相同测试误差所需的训练时间缩短了多达 59.32%。
引用
@article{arxiv.1911.08050,
title = {Carpe Diem, Seize the Samples Uncertain "At the Moment" for Adaptive Batch Selection},
author = {Hwanjun Song and Minseok Kim and Sundong Kim and Jae-Gil Lee},
journal= {arXiv preprint arXiv:1911.08050},
year = {2020}
}
备注
Published at CIKM 2020