用于神经网络训练的自步调数据增强
机器学习
2020-10-30 v1
摘要
数据增强在机器学习中被广泛使用；然而，尽管数据增强包含若干需要仔细调优的因素，其有效应用方法尚未确立。其中一个因素是样本适用性，即选择适合进行数据增强的样本。一种将 data augmentation 应用于所有训练样本的典型方法忽视了样本适用性，这可能降低分类器性能。为解决该问题，我们提出自步调增强（SPA, self-paced augmentation），在训练神经网络时自动且动态地选择适合数据增强的样本。所提方法缓解了由无效数据增强引起的泛化性能退化。我们讨论了所提 SPA 相对于课程学习（curriculum learning）以及损失函数不稳定性理想变化的两条作用原因。实验结果表明，所提 SPA 能够提升泛化性能，尤其在训练样本数量较少时。此外，所提 SPA 优于当前最优的 RandAugment 方法。
引用
@article{arxiv.2010.15434,
title = {Self-paced Data Augmentation for Training Neural Networks},
author = {Tomoumi Takase and Ryo Karakida and Hideki Asoh},
journal= {arXiv preprint arXiv:2010.15434},
year = {2020}
}
备注
22 pages