基于对偶牛顿预条件近端点算法的排他 lasso 模型求解
最优化与控制
2019-12-10 v2 机器学习
摘要
排他 lasso（亦称精英 lasso）正则化因其在组稀疏性上的优越性能而近年流行。与在不同组间变量上施加竞争的组 lasso 正则化相比，排他 lasso 正则化还在每组内部施加竞争。本文提出一种高效的对偶牛顿基于预条件近端点算法（PPDNA）来求解含排他 lasso 正则化子的机器学习模型。作为一个重要组成部分，我们为导出加权排他 lasso 正则化子近端映射的闭式解提供了严格证明。此外，我们推导了该近端映射的相应 HS-Jacobian 并分析其结构——这在通过对偶上应用半光滑牛顿法高效计算 PPA 子问题中起关键作用。本文各类数值实验展示了所提 PPDNA 相对于其他最先进数值算法的优越性能。
引用
@article{arxiv.1902.00151,
title = {A dual Newton based preconditioned proximal point algorithm for exclusive lasso models},
author = {Meixia Lin and Defeng Sun and Kim-Chuan Toh and Yancheng Yuan},
journal= {arXiv preprint arXiv:1902.00151},
year = {2019}
}