一种逐层信息增强方法以改进深度信念网络的学习
人工智能
2021-01-19 v1 机器学习
摘要
随着深度学习的出现，近年来提出新方法或改进已有方法的工作数量呈指数增长。在此情形下，“极深”模型不断涌现，因其有望提取更内在与抽象的特征并带来更好性能。然而，此类模型存在梯度消失问题，即反向传播值在较浅层过于接近零，最终导致学习停滞。该问题在卷积神经网络中通过层间“快捷连接”得以克服，即所谓的深度残差学习框架。尽管如此，一种名为深度信念网络（Deep Belief Network）的流行深度学习技术在处理判别任务时仍受梯度消失困扰。因此，本文提出残差深度信念网络（Residual Deep Belief Network），其考虑逐层信息增强以改进特征提取与知识保持，从而支持更好的判别性能。在三个公开数据集上的实验证明了其在二值图像分类任务上的鲁棒性。
引用
@article{arxiv.2101.06749,
title = {A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks},
author = {Mateus Roder and Leandro A. Passos and Luiz Carlos Felix Ribeiro and Clayton Pereira and João Paulo Papa},
journal= {arXiv preprint arXiv:2101.06749},
year = {2021}
}