具有非二次数据项的 $l_0$ 正则化准则的精确连续松弛
最优化与控制
2025-08-26 v3
摘要
我们提出了一类新的 正则化准则的精确连续松弛，涉及非二次数据项（如 Kullback-Leibler 散度和逻辑回归），可能结合 正则化。我们首先证明了此类问题全局极小值的存在性，并刻画了其局部极小值。然后，我们提出了 Bregman 松弛（B-rex），这是一种由适当的 Bregman 距离定义的 伪范数的连续近似，它导出了原始 正则化问题的精确连续松弛，即不改变其全局极小值集合，并通过消除某些局部极小值来降低非凸性。这两个特征使得松弛后的问题更容易由标准非凸优化算法求解。本着这一精神，我们考虑了近端梯度算法，并在几种情况下给出了 B-rex 惩罚的近端点的显式计算。最后，我们报告了一组数值结果，展示了所提出的 B-rex 惩罚在不同底层 Bregman 距离选择下的几何行为、其与凸包络的关系，以及在一维/二维及更高维度中的精确松弛性质。
引用
@article{arxiv.2402.06483,
title = {Exact continuous relaxations of l0-regularized criteria with non-quadratic data terms},
author = {M'hamed Essafri and Luca Calatroni and Emmanuel Soubies},
journal= {arXiv preprint arXiv:2402.06483},
year = {2025}
}