平滑边缘：基于 Hadamard 过参数化的稀疏正则化平滑优化
机器学习
2026-04-09 v4 最优化与控制
机器学习
摘要
我们提出一个用于（结构化）稀疏的显式正则化目标的平滑优化框架。这些非平滑且可能非凸的问题通常依赖于针对特定模型与正则化器定制的求解器。相反，我们的方法支持完全可微且无近似的优化，因此与深度学习中普遍存在的梯度下降范式兼容。所提出的优化转移包含对选定参数的过参数化以及惩罚项的改变。在过参数化问题中，平滑代理正则化在基参数化中诱导出非平滑的稀疏正则化。我们证明该代理目标在如下意义下等价：它不仅具有相同的全局极小点，而且具有匹配的局部极小点，从而避免了引入伪解。此外，我们的理论建立了关于任意（可能无正则化的）目标匹配局部极小点的独立有趣结果。我们全面综述了受我们一般理论涵盖的跨领域稀疏诱导参数化，扩展了它们的适用范围，并在若干方面提出改进。数值实验进一步在从高维回归到稀疏神经网络训练的若干稀疏学习问题上展示了我们方法的正确性与有效性。
引用
@article{arxiv.2307.03571,
title = {Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization},
author = {Chris Kolb and Christian L. Müller and Bernd Bischl and David Rügamer},
journal= {arXiv preprint arXiv:2307.03571},
year = {2026}
}