利用阻尼序列的自适应低秩正则化以约束深度网络中的惰性权重
机器学习
2021-06-18 v1 人工智能
摘要
过拟合是深度神经网络中的关键问题之一。许多正则化方案盲目地试图防止过拟合，却降低了训练算法的收敛速度。自适应正则化方案能够更智能地解决过拟合，通常不影响整个网络权重。本文检测出导致过拟合的加权层子集，并通过矩阵与张量条件数识别过拟合。提出了一种称为自适应低秩（ALR）的自适应正则化方案，将加权层子集收敛至其低秩分解（LRF），通过最小化新的基于 Tikhonov 的损失函数实现。ALR 还鼓励惰性权重在训练轮数增加时参与正则化，使用阻尼序列在后期代中增大层选择可能性。因此在训练精度下降前，ALR 减少了惰性权重并大幅正则化网络。实验结果表明，ALR 能以高训练速度和低资源消耗良好地正则化深度网络。
引用
@article{arxiv.2106.09677,
title = {Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks},
author = {Mohammad Mahdi Bejani and Mehdi Ghatee},
journal= {arXiv preprint arXiv:2106.09677},
year = {2021}
}
备注
Preprint of a paper submitted in Neural Networks, 27 Pages, 4 Tables and 6 Figures. arXiv admin note: text overlap with arXiv:2005.01995