深度神经网络权重矩阵的重尾正则化
机器学习
2023-04-10 v2 机器学习
摘要
揭示深度神经网络取得显著成功和卓越泛化能力背后的原因是一项艰巨挑战。随机矩阵理论的最新见解，特别是关于深度神经网络权重矩阵谱分析的见解，为解决该问题提供了有价值的线索。一项关键发现表明，神经网络的泛化性能与其权重矩阵谱的重尾程度相关。为利用这一发现，我们引入了一种称为重尾正则化（Heavy-Tailed Regularization）的新正则化技术，它通过正则化显式地促进权重矩阵具有更重尾的谱。首先，我们采用加权Alpha和稳定秩作为惩罚项，二者均可微，从而能够直接计算其梯度。为避免过度正则化，我们引入了惩罚函数的两种变体。随后，从贝叶斯统计视角出发并利用随机矩阵知识，我们开发了两种新的重尾正则化方法，分别使用幂律分布和Frechet分布作为全局谱和最大特征值的先验。我们通过实验证明，重尾正则化在泛化性能方面优于传统正则化技术。
引用
@article{arxiv.2304.02911,
title = {Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks},
author = {Xuanzhe Xiao and Zeng Li and Chuanlong Xie and Fengwei Zhou},
journal= {arXiv preprint arXiv:2304.02911},
year = {2023}
}