基于锥投影的随机分组独占稀疏范数最小化

许多实际应用如基因表达分析、多任务学习、图像识别、信号处理以及医学数据分析，为了特征选择目的而追求稀疏解，并且特别偏爱非零项均匀分布于不同组中。独占稀疏范数已被广泛用于服务此目的。然而，针对独占稀疏范数优化的系统性研究仍然缺乏。本文从优化角度提供两点主要贡献：1) 我们提供几种高效算法来求解具有平滑损失或铰链损失（非平滑损失）的独占稀疏范数最小化。所有算法均达到最优收敛率 $O(1/k^2)$（$k$ 为迭代次数）。据我们所知，这是首次保证一般独占稀疏范数最小化达到如此收敛率；2) 当组信息不可用以定义独占稀疏范数时，我们提出使用随机分组方案来构造组，并证明若组数选择恰当，非零项（真实特征）将以高概率按理想方式分组。实证研究验证了所提算法的效率，以及随机分组方案在提出的独占 SVM 公式上的有效性。