一种新颖的稀疏正则化器
机器学习
2023-04-24 v5
摘要
范数正则化方案（如 、 与 范数正则化）以及基于 范数的正则化技术（如权重衰减、LASSO 与弹性网络）计算一个依赖于彼此孤立考虑的模型权重的数量。本文引入一种基于在优化过程中对模型应用新颖熵度量的正则化器。与基于 范数的正则化不同，该正则化器关注权重矩阵内权重的空间排布。这一新颖正则化器是损失函数的加性项，可微、简单且计算快速、尺度不变、仅需极少量额外内存，并易于并行化。经验上，该方法在 MNIST 上训练 LeNet300 时，为达到给定测试精度水平所需的非零模型参数数量约改善了一个数量级。
引用
@article{arxiv.2301.07285,
title = {A Novel Sparse Regularizer},
author = {Hovig Tigran Bayandorian},
journal= {arXiv preprint arXiv:2301.07285},
year = {2023}
}