基于"Oddball"随机梯度下降的深度神经网络均匀学习
机器学习
2015-10-09 v1
摘要
在训练深度神经网络时，通常假设训练样本的学习难度均匀。或者重申，假设训练误差在训练样本间均匀分布。基于这些假设，每个训练样本被使用相同次数。然而，该假设在许多情况下可能不成立。最近提出的"Oddball SGD"（新奇驱动随机梯度下降，novelty-driven stochastic gradient descent）用于根据误差分布概率性地驱动训练——训练频率与训练误差大小成正比。本文中，我们使用深度神经网络编码视频，展示了oddball SGD可用于在训练集上强制均匀误差。
引用
@article{arxiv.1510.02442,
title = {Uniform Learning in a Deep Neural Network via "Oddball" Stochastic Gradient Descent},
author = {Andrew J. R. Simpson},
journal= {arXiv preprint arXiv:1510.02442},
year = {2015}
}