基于 BinMask 的神经网络有效 $L_0$ 正则化
机器学习
2023-04-25 v1
摘要
神经网络的 正则化是一个基本问题。除为更好泛化性正则化模型外， 正则化亦应用于输入特征选择与稀疏神经网络训练。相关主题研究众多，部分方法颇为复杂。本文中，我们表明一种直接表述 BinMask——以确定性二值掩码乘权重并使用恒等直通估计器反向传播——是一种有效的 正则化器。我们在三项任务上评估 BinMask：特征选择、网络稀疏化与模型正则化。尽管简单，BinMask 在无任务特定调参下，相较各任务专用方法，于所有基准取得有竞争力性能。我们的结果表明，解耦权重与掩码优化——为先前工作广泛采用——是有效 正则化的关键组分。
引用
@article{arxiv.2304.11237,
title = {Effective Neural Network $L_0$ Regularization With BinMask},
author = {Kai Jia and Martin Rinard},
journal= {arXiv preprint arXiv:2304.11237},
year = {2023}
}