卷积核张量的正则化以避免卷积神经网络中的梯度不稳定问题
机器学习
2021-02-09 v1 数值分析
数值分析
摘要
卷积神经网络如今非常流行。训练神经网络并非易事。每次卷积对应于一个结构化变换矩阵。为有助于避免梯度爆炸/消失问题，期望各变换矩阵的奇异值在训练过程中既不大也不小。我们针对卷积核张量提出三个新的正则化项，以约束每个变换矩阵的奇异值。我们展示了如何执行梯度类方法，这为卷积神经网络的训练提供了新的见解。
引用
@article{arxiv.2102.04294,
title = {Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks},
author = {Pei-Chang Guo},
journal= {arXiv preprint arXiv:2102.04294},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1907.11235