基于折扣 VAW 与子空间逼近的 RKHS 在线回归的动态懊悼分析
机器学习
2026-04-29 v1
摘要
我们在复制核希尔伯特空间 (RKHS) 中以平方损失进行在线回归，采用动态懊悼准则进行评估。学习者与时间可变比较序列进行比较，其上界取决于该序列在 RKHS 范数下的路径长度。我们将 Jacobsen 与 Cutkosky (2024) 引入的有限维折扣 Vovk--Azoury--Warmuth 方法通过有限维子空间逼近推广到 RKHS 设置。对于固定子空间，我们在折扣因子的几何网格上运行基于 VAW 的折扣 VAW 预测器集。通过核截面的均匀投影误差控制附加逼近误差。我们随后引入一种通用正交截断方法：从特征展开开始，通过引入内积使特征函数正交化，随后使用前几个基函数的张量作为有限维逼近空间。所得的子空间降维被应用到多种逼近方案中。显式特征展开可为高斯核与解析点积核提供快速法则下的界限。Mercer 截断提供谱逼近方法，导致在特征值衰减快慢的情况下分别给出动态懊悼界限。最后，我们研究由核截面张成的子空间，并将该构造应用于 Matérn 核。
引用
@article{arxiv.2604.25021,
title = {Dynamic Regret for Online Regression in RKHS via Discounted VAW and Subspace Approximation},
author = {Dmitry B. Rokhlin and Georgiy A. Karapetyants},
journal= {arXiv preprint arXiv:2604.25021},
year = {2026}
}
备注
26 pages