面向结构化稀疏的凸优化与网络流优化

我们考虑一类由结构化稀疏诱导范数正则化的学习问题，该范数定义为变量组上的 $\ell_2$- 或 $\ell_\infty$-范数之和。尽管当各组不相交或嵌入层次结构时，已有大量工作致力于开发快速优化技术，我们在此处理一般重叠组的情形。为此，我们提出两种不同的策略：一方面，我们证明与 $\ell_\infty$-范数之和相关联的邻近算子可以通过求解一个二次最小费用流问题在多项式时间内精确计算，从而允许使用加速邻近梯度方法。另一方面，我们使用邻近分裂技术，并处理一个具有非重叠组但维度更高且带有额外约束的等价形式。我们提出了利用这两种策略的高效且可扩展的算法，这些算法显著快于其他替代方法。我们通过若干问题展示了这些方法，例如 CUR 矩阵分解、树结构字典的多任务学习、视频序列中的背景减除、基于小波的图像去噪，以及自然图像块的拓扑字典学习。