Flipout：小批量上高效的伪独立权重扰动
机器学习
2018-04-03 v2 机器学习
摘要
随机神经网络权重被用于多种场景，包括正则化、贝叶斯神经网络、强化学习中的探索以及进化策略。遗憾的是，由于权重数量庞大，小批量中的所有样本通常共享相同的权重扰动，从而限制了大批量带来的方差缩减效应。我们引入 flipout，一种通过对每个样本隐式采样伪独立权重扰动来去相关小批量内梯度的有效方法。经验上，flipout 对全连接网络、卷积网络和 RNN 实现了理想的线性方差缩减。我们发现了在使用乘性高斯扰动训练神经网络时的显著加速。我们表明 flipout 在正则化 LSTM 上有效，并且优于先前的方法。Flipout 还使我们能够对进化策略进行向量化：在我们的实验中，单个配备 flipout 的 GPU 可处理与至少 40 个 CPU 核心使用现有方法相同的吞吐量，相当于在 Amazon Web Services 上降低 4 倍成本。
引用
@article{arxiv.1803.04386,
title = {Flipout: Efficient Pseudo-Independent Weight Perturbations on Mini-Batches},
author = {Yeming Wen and Paul Vicol and Jimmy Ba and Dustin Tran and Roger Grosse},
journal= {arXiv preprint arXiv:1803.04386},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018