LocalDrop：一种用于深度神经网络的混合正则化方法
机器学习
2021-03-02 v1 人工智能
机器学习
摘要
在神经网络中，开发正则化算法以解决过拟合是主要研究领域之一。我们提出一种通过局部 Rademacher 复杂度（称为 LocalDrop）进行神经网络正则化的新方法。基于所提出的局部 Rademacher 复杂度的上界，通过严格的数学推导，针对全连接网络（FCNs）和卷积神经网络（CNNs）开发了一种新的正则化函数，包含丢弃率和权重矩阵。复杂度分析中也包含了对 FCNs 中 dropout 和 CNNs 中 DropBlock 在不同层保留率矩阵的分析。利用新的正则化函数，我们建立了一个两阶段过程以获得最优保留率矩阵和权重矩阵，从而实现整个训练模型。我们进行了大量实验，通过将 LocalDrop 与几种算法比较以及不同超参数对最终性能的影响，证明了 LocalDrop 在不同模型中的有效性。
引用
@article{arxiv.2103.00719,
title = {LocalDrop: A Hybrid Regularization for Deep Neural Networks},
author = {Ziqing Lu and Chang Xu and Bo Du and Takashi Ishida and Lefei Zhang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2103.00719},
year = {2021}
}