受限玻尔兹曼机中基于能量的Dropout：为何不随机
机器学习
2021-01-19 v1 人工智能
摘要
近年来深度学习架构被广泛推动，应用于目标识别、图像重建和信号处理等广泛领域。然而，此类模型存在一个称为过拟合的共性问题，限制了网络有效预测未见过数据的能力。正则化方法试图解决这一缺陷。其中可提及著名的Dropout，它根据某一概率随机关闭一组神经元及其连接来应对该问题。因此，该方法在决定哪些单元应被断开时未考虑任何额外知识。本文提出一种基于能量的Dropout（E-Dropout），有意识地决定一个神经元是否应被丢弃。具体而言，我们通过将神经元与模型能量相关联来设计此正则化方法，将其作为重要性水平，进而应用于受限玻尔兹曼机（RBMs）等基于能量的模型。在多个基准数据集上的实验结果表明，与传统的Dropout和标准RBMs相比，所提方法具有适用性。
关键词
引用
@article{arxiv.2101.06741,
title = {Energy-based Dropout in Restricted Boltzmann Machines: Why not go random},
author = {Mateus Roder and Gustavo H. de Rosa and Victor Hugo C. de Albuquerque and André L. D. Rossi and João P. Papa},
journal= {arXiv preprint arXiv:2101.06741},
year = {2021}
}