中文

广义条件梯度法的安全筛选

机器学习 2020-02-25 v1 最优化与控制 机器学习

摘要

条件梯度法(CGM)已广泛用于快速稀疏近似,其对结构化稀疏正则化子具有较低的每轮迭代计算成本。我们探究了广义CGM(gCGM)的稀疏获取性质,其中约束被基于规范罚函数的罚函数所替代;这可在不显著增大每轮迭代计算量的情况下完成,并适用于一般的稀疏性概念。在不假设迭代有界的条件下,我们展示了gCGM函数值与间隙的O(1/t)O(1/t)收敛性。我们将其与安全筛选规则结合,并展示以O(1/(tδ2))O(1/(t\delta^2))的速率,被筛选的支持集与解处的支持集一致,其中δ0\delta \geq 0度量问题接近退化的程度。在我们的实验中,我们展示了带这些修正罚函数的gCGM具有与常见罚函数相似的特徵选择性质,但对超参数选择可能更具稳定性。

关键词

引用

@article{arxiv.2002.09718,
  title  = {Safe Screening for the Generalized Conditional Gradient Method},
  author = {Yifan Sun and Francis Bach},
  journal= {arXiv preprint arXiv:2002.09718},
  year   = {2020}
}