记忆化稀疏反向传播
机器学习
2020-10-28 v3 机器学习
摘要
神经网络学习通常耗时，因为反向传播需要计算完整梯度并跨多层反向传播。尽管现有工作通过稀疏性加速传播取得了成功，但其相关理论特性仍研究不足，且经验研究发现它们遭受未传播梯度所含信息丢失的困扰。为解决这些问题，本文提出一个统一的稀疏反向传播框架，并详细分析其理论特性。分析表明，当应用于多层感知机时，我们的框架本质上使用与真实梯度足够相似的估计梯度进行梯度下降，从而在特定条件下以概率收敛。此外，提出一种简单而有效的算法，称为记忆化稀疏反向传播（MSBP），通过将未传播梯度存于内存供后续步骤学习，以补救信息丢失问题。实验结果表明，所提MSBP能有效缓解传统稀疏反向传播中的信息丢失，同时取得可比的加速效果。
引用
@article{arxiv.1905.10194,
title = {Memorized Sparse Backpropagation},
author = {Zhiyuan Zhang and Pengcheng Yang and Xuancheng Ren and Qi Su and Xu Sun},
journal= {arXiv preprint arXiv:1905.10194},
year = {2020}
}
备注
Accepted to Neurocomputing