spred：用 SGD 求解 $L_1$ 惩罚
机器学习
2023-07-13 v5 机器学习
摘要
我们提出使用简单的重参数化与直接的随机梯度下降，来最小化带 约束的通用可微目标。我们的方案是先前观点的直接推广，即 惩罚可能等价于带权重衰减的可微重参数化。我们证明了所提出的方法 \textit{spred} 是 的精确可微求解器，且重参数化技巧对通用非凸函数完全“良性”。在实践中，我们展示了该方法在以下方面的效用：（1）训练稀疏神经网络执行基因选择任务，这涉及在极高维空间中寻找相关特征；（2）神经网络压缩任务，先前应用 惩罚的尝试均未成功。从概念上讲，我们的结果弥合了深度学习与传统统计学习中稀疏性之间的鸿沟。
引用
@article{arxiv.2210.01212,
title = {spred: Solving $L_1$ Penalty with SGD},
author = {Liu Ziyin and Zihao Wang},
journal= {arXiv preprint arXiv:2210.01212},
year = {2023}
}
备注
ICML 2023, 16 pages, 10 figures, and 2 tables