广义条件梯度法的安全筛选
机器学习
2020-02-25 v1 最优化与控制
机器学习
摘要
条件梯度法(CGM)已广泛用于快速稀疏近似,其对结构化稀疏正则化子具有较低的每轮迭代计算成本。我们探究了广义CGM(gCGM)的稀疏获取性质,其中约束被基于规范罚函数的罚函数所替代;这可在不显著增大每轮迭代计算量的情况下完成,并适用于一般的稀疏性概念。在不假设迭代有界的条件下,我们展示了gCGM函数值与间隙的收敛性。我们将其与安全筛选规则结合,并展示以的速率,被筛选的支持集与解处的支持集一致,其中度量问题接近退化的程度。在我们的实验中,我们展示了带这些修正罚函数的gCGM具有与常见罚函数相似的特徵选择性质,但对超参数选择可能更具稳定性。
引用
@article{arxiv.2002.09718,
title = {Safe Screening for the Generalized Conditional Gradient Method},
author = {Yifan Sun and Francis Bach},
journal= {arXiv preprint arXiv:2002.09718},
year = {2020}
}