通过重新分配非凸性实现基于一族非凸正则化的高效学习

使用凸正则化可以轻松进行优化，尽管它们通常会产生有偏估计和较差的预测性能。最近，非凸正则化引起了广泛关注，并优于凸正则化。然而，由此产生的优化问题要困难得多。在本文中，对于一大类非凸正则化，我们提出将非凸性从正则化项转移到损失函数中。非凸正则化项随后被转化为熟悉的凸正则化项，同时仍能保证所得的损失函数是光滑的。使用凸化后的正则化项可以通过最初为凸正则化设计的现有高效算法（如近端算法、Frank-Wolfe 算法、交替方向乘子法和随机梯度下降法）进行学习。当凸化后的正则化项不具有闭式近端步，以及当损失函数是非凸、非光滑时，我们进行了扩展。在多种机器学习应用场景上的大量实验表明，优化转化后的问题比在原始问题上运行 state-of-the-art 方法要快得多。