基于动态正则化的卷积神经网络
计算机视觉与模式识别
2021-01-01 v3
摘要
正则化常用于缓解机器学习中的过拟合。对于卷积神经网络 (CNNs)，DropBlock 和 Shake-Shake 等正则化方法已显示出泛化性能的提升。然而，这些方法在整个训练过程中缺乏自适应能力。即，正则化强度被固定为预定义的调度，且需要手动调整以适应不同的网络架构。在本文中，我们提出了一种用于 CNNs 的动态正则化方法。具体而言，我们将正则化强度建模为训练损失的函数。根据训练损失的变化，我们的方法能够在训练过程中动态调整正则化强度，从而平衡 CNNs 的欠拟合与过拟合。通过动态正则化，大规模模型由强扰动自动正则化，反之亦然。实验结果表明，所提方法能够提升现有网络架构的泛化能力，并优于 state-of-the-art 正则化方法。
引用
@article{arxiv.1909.11862,
title = {Convolutional Neural Networks with Dynamic Regularization},
author = {Yi Wang and Zhen-Peng Bian and Junhui Hou and Lap-Pui Chau},
journal= {arXiv preprint arXiv:1909.11862},
year = {2021}
}
备注
7 pages. Accepted for Publication at IEEE TNNLS