中文

格点数据的多元趋势滤波

机器学习 2024-04-09 v2 机器学习 统计理论 统计理论

摘要

我们研究了趋势滤波的多元版本,称为 Kronecker 趋势滤波或 KTF,适用于设计点在 dd 维中构成格点的情况。KTF 是单变量趋势滤波(Steidl 等,2006;Kim 等,2009;Tibshirani,2014)的自然推广,通过最小化一个惩罚最小二乘问题来定义,其惩罚项对沿每个坐标方向待估参数的绝对(高阶)差分求和。相应的惩罚算子可写为单变量趋势滤波惩罚算子的 Kronecker 积,故得名 Kronecker 趋势滤波。等价地,可将 KTF 视为 1\ell_1 惩罚基回归问题,其中基函数为下落阶乘函数的张量积,即支撑单变量趋势滤波的分段多项式(离散样条)基。本文是对 Sadhanala 等(2016, 2017)结果的统一与扩展。我们发展了一套完整理论结果,描述了 dd 维中 kthk^{\mathrm{th}} 阶 Kronecker 趋势滤波在每 k0k \geq 0d1d \geq 1 下的行为。这揭示了一些有趣现象,包括 KTF 在估计异质平滑函数上优于线性平滑器,以及在 d=2(k+1)d=2(k+1) 处的相变——在此边界之外(高维数-平滑度侧)线性平滑器完全无法保持一致。我们还利用了 Tibshirani(2020)关于离散样条的最新结果,特别是离散样条插值结果,使我们能以常数时间(独立于格点大小 nn)将 KTF 估计扩展到任意非格点位置。

关键词

引用

@article{arxiv.2112.14758,
  title  = {Multivariate Trend Filtering for Lattice Data},
  author = {Veeranjaneyulu Sadhanala and Yu-Xiang Wang and Addison J. Hu and Ryan J. Tibshirani},
  journal= {arXiv preprint arXiv:2112.14758},
  year   = {2024}
}