通过权重分布上的周期性采样改进模型训练
机器学习
2020-03-23 v2 计算机视觉与模式识别
机器学习
摘要
本文探讨以模型权重的周期性采样为核心的技术，这些技术为多种视觉问题（分类、检测、分割）的梯度更新方法（朴素 SGD、Momentum、Adam）提供了收敛性改进。重要的是，我们的算法以仅轻微增加计算时间为代价，提供了更好、更快且更鲁棒的收敛与训练性能。我们的技术与神经网络模型、梯度优化方法或现有最优训练策略无关，并以波动性更小的方式收敛，其性能改进近似单调。我们进行了多种实验来量化这些改进，并识别出这些技术可能更有用的场景。
引用
@article{arxiv.1905.05774,
title = {Improving Model Training by Periodic Sampling over Weight Distributions},
author = {Samarth Tripathi and Jiayi Liu and Unmesh Kurup and Mohak Shah and Sauptik Dhar},
journal= {arXiv preprint arXiv:1905.05774},
year = {2020}
}