通过增量矩阵抽样与分解实现快速的二阶在线核学习
机器学习
2025-06-17 v2
摘要
在线核学习(OKL)因其在流环境中的前景预测性能而引起广泛关注。二阶方法尤其受欢迎，因为它们常常能显著改善 regret 保证。然而，现有的二阶 OKL 方法要么至少具有二次时间复杂度（相对于预设预算），因此难以满足大规模流式推荐系统的实时需求；要么需要对特征映射进行奇异值分解，这在完整分解过程中计算成本很高。此外，缺乏对近似核空间的增量更新会导致这些算法在对抗环境和现实流式推荐数据集上表现不佳。为此，我们提出了一种针对二阶 OKL 的快速增量矩阵抽样和分解方法(FORKS)。FORKS 构建了一种针对二阶核化梯度下降的增量维护范式，包括用于核近似的增量矩阵抽样和用于显式特征映射构建的增量矩阵分解。理论分析表明，FORKS 在保持与其他二阶方法相当的对数 regret 保证的同时，实现了相对于预算的线性时间复杂度，显著提升了现有方法的效率。我们通过在真实世界的流式推荐数据集上进行大量实验，验证了 FORKS 的优越性能，表明其在规模和对抗攻击的鲁棒性方面具有优势。
引用
@article{arxiv.2410.11188,
title = {Fast Second-Order Online Kernel Learning through Incremental Matrix Sketching and Decomposition},
author = {Dongxie Wen and Xiao Zhang and Zhewei Wei and Chenping Hou and Shuai Li and Weinan Zhang},
journal= {arXiv preprint arXiv:2410.11188},
year = {2025}
}
备注
Accepted by IJCAI 2025