DL-Reg：一种基于线性回归的深度学习正则化技术
机器学习
2020-11-05 v2 人工智能
计算机视觉与模式识别
摘要
正则化在深度学习中起着至关重要的作用，可防止深度神经网络陷入过拟合的风险。本文提出一种名为 DL-Reg 的新型深度学习正则化方法，该方法通过显式地强制网络尽可能表现得线性，从而在某种程度上谨慎地降低深度网络的非线性。其核心思想是在深度神经网络的目标函数中添加一个线性约束，该约束 simply 是模型从输入到输出的线性映射的误差。更确切地说，所提出的 DL-Reg 谨慎地迫使网络以线性方式行为。这一线性约束进一步由正则化因子调整，使网络免于过拟合的风险。DL-Reg 的性能通过在多个基准数据集上训练最先进的深度网络模型进行评估。实验结果表明，所提出的正则化方法：1) 相较现有正则化技术有显著改进；2) 显著提升了深度神经网络的性能，尤其是在小规模训练数据集的情况下。
引用
@article{arxiv.2011.00368,
title = {DL-Reg: A Deep Learning Regularization Technique using Linear Regression},
author = {Maryam Dialameh and Ali Hamzeh and Hossein Rahmani},
journal= {arXiv preprint arXiv:2011.00368},
year = {2020}
}