中文

解构 Lariats:变分惩罚目标的次梯度跟随

机器学习 2025-04-11 v4 最优化与控制

摘要

我们描述了一种用于求解具有变分惩罚的凸问题次梯度跟随的装置。在此设置下,我们接收一个序列 yi,,yny_i,\ldots,y_n,并寻求一个光滑序列 x1,,xnx_1,\ldots,x_n。该光滑序列需要达到对输入序列在加性变分惩罚形式的 igi(xi+1xi)\sum_i{}g_i(x_{i+1}-x_i) 下的最小 Bregman 发散。在已知算法如 fused lasso 与 isotonic regression 作为我们方法的特例。我们的方法还促进了新的变分惩罚形式,如非光滑屏障函数。随后,我们推导了一个基于格子的新型程序,用于求解通过任意卷积滤波器输出所特征化的变分惩罚的次梯度跟随。这种范式为解决时间序列中稀疏离散导数(如加速度与 jerk)具有高阶滤波问题的求解器提供了高效方法。我们还引入并分析了新的多变量问题,其中 xi,yiRd\mathbf{x}_i,\mathbf{y}_i\in\mathbb{R}^d,且变分惩罚依赖于 xi+1xi||\mathbf{x}_{i+1}-\mathbf{x}_i||。我们考虑的范数为 2\ell_2\ell_\infty,后者可促进组稀疏性。

关键词

引用

@article{arxiv.2405.04710,
  title  = {Untangling Lariats: Subgradient Following of Variationally Penalized Objectives},
  author = {Kai-Chia Mo and Shai Shalev-Shwartz and Nisæl Shártov},
  journal= {arXiv preprint arXiv:2405.04710},
  year   = {2025}
}