用于深度神经网络正则化的自适应禁忌Dropout
机器学习
2025-01-03 v1
摘要
Dropout是深度神经网络正则化的有效策略。对最近一轮迭代中被丢弃的单元施加禁忌,并在训练中保留它们,可确保Dropout的多样性。在本文中,我们从两个方面改进了用于深度神经网络训练的禁忌Dropout机制。首先,我们提出使用禁忌任期,即某个单元不会被丢弃的迭代轮数。不同的禁忌任期根据搜索景观提供多样性,以促进深度神经网络的训练。其次,我们提出了一种自适应禁忌算法,能够根据各迭代轮次的训练性能自动选择禁忌任期。在多个标准基准数据集上的实验结果表明,与标准Dropout和基本禁忌Dropout机制相比,自适应禁忌Dropout和禁忌任期Dropout具有更高的多样性,并显著提升了性能。
引用
@article{arxiv.2501.00538,
title = {Adaptive Tabu Dropout for Regularization of Deep Neural Network},
author = {Md. Tarek Hasan and Arifa Akter and Mohammad Nazmush Shamael and Md Al Emran Hossain and H. M. Mutasim Billah and Sumayra Islam and Swakkhar Shatabda},
journal= {arXiv preprint arXiv:2501.00538},
year = {2025}
}