RSO：一种基于无梯度采样的深度神经网络训练方法
机器学习
2020-05-13 v1 机器学习
摘要
我们提出RSO（随机搜索优化），一种基于无梯度马尔可夫链蒙特卡洛搜索的深度神经网络训练方法。为此，RSO对深度神经网络中的某个权重添加扰动，并测试其是否能在小批量上降低损失。若降低了损失，则更新该权重，否则保留原有权重。令人惊讶的是，我们发现对每个权重重复此过程数次便足以训练一个深度神经网络。与采用SGD的反向传播相比，RSO的权重更新次数少一个数量级。由于不存在学习率的概念，RSO可在每一步进行激进的权重更新。各层的权重更新步骤也不与损失的大小耦合。RSO在MNIST和CIFAR-10数据集的分类任务上用6至10层深度神经网络进行了评估，分别取得了99.1%和81.8%的准确率。我们还发现，在仅更新权重5次后，该算法在MNIST上获得了98%的分类准确率。
引用
@article{arxiv.2005.05955,
title = {RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks},
author = {Rohun Tripathi and Bharat Singh},
journal= {arXiv preprint arXiv:2005.05955},
year = {2020}
}
备注
Technical Report