学习Wake-Sleep循环注意力模型
机器学习
2015-09-24 v1
摘要
尽管卷积神经网络取得了成功，但由于必须检查所有图像位置，其计算代价高昂。基于随机注意力的模型已被证明可在测试时提高计算效率，但由于难以处理的后验推断和随机梯度估计中的高方差，它们仍然难以训练。借鉴训练深度生成模型文献中的技术，我们提出Wake-Sleep循环注意力模型（Wake-Sleep Recurrent Attention Model），一种用于训练随机注意力网络的方法，其改善了后验推断并降低了随机梯度中的变异性。我们展示我们的方法在图像分类和图像描述生成领域能极大加速随机注意力网络的训练时间。
引用
@article{arxiv.1509.06812,
title = {Learning Wake-Sleep Recurrent Attention Models},
author = {Jimmy Ba and Roger Grosse and Ruslan Salakhutdinov and Brendan Frey},
journal= {arXiv preprint arXiv:1509.06812},
year = {2015}
}
备注
To appear in NIPS 2015