快速更好的训练技巧——随机梯度
高能物理 - 理论
2018-10-31 v1 广义相对论与量子宇宙学
摘要
在本文中，我们将展示一种前所未有的加速训练并提升性能的方法，称为随机梯度（RG）。该方法无需额外计算成本即可更轻松地训练任意模型，我们使用图像分类、语义分割和 GANs 来确认该方法能提升计算机视觉中模型训练的速度。其核心思想是利用损失乘以一个随机数来随机减小反向传播梯度。我们可使用该方法在 Pascal VOC、Cifar、Cityscapes 数据集上产生更好的结果。
引用
@article{arxiv.1808.04292,
title = {The Ogievetsky-Polubarinov massive gravity and the benign Boulware-Deser mode},
author = {Shinji Mukohyama and Mikhail S. Volkov},
journal= {arXiv preprint arXiv:1808.04292},
year = {2018}
}
备注
30 pages, 2 figures