HSIC 瓶颈:无需反向传播的深度学习
机器学习
2019-12-06 v3 机器学习
摘要
我们引入了用于训练深度神经网络的 HSIC(希尔伯特—施密特独立性准则)瓶颈。HSIC 瓶颈是传统的交叉熵损失与反向传播的替代方案,具有若干显著优势。它缓解了梯度爆炸与梯度消失,从而能够训练非常深的网络而无需跳跃连接。该方法不要求对称反馈或更新锁定。我们发现,即使在未鼓励系统使输出类似于分类标签的情况下,HSIC 瓶颈在 MNIST/FashionMNIST/CIFAR10 分类上的表现也与采用交叉熵目标的反向传播相当。附加一个用 SGD(无反向传播)训练的单层以进一步重整信息,可提升性能。
引用
@article{arxiv.1908.01580,
title = {The HSIC Bottleneck: Deep Learning without Back-Propagation},
author = {Wan-Duo Kurt Ma and J. P. Lewis and W. Bastiaan Kleijn},
journal= {arXiv preprint arXiv:1908.01580},
year = {2019}
}