关于 corrupted 线性方程组的分块加速分位数随机 Kaczmarz 方法
数值分析
2023-01-04 v3 数值分析
摘要
随着大数据和大规模学习任务的增多，对高效且鲁棒的线性方程组求解器的需求比以往任何时候都更大。随机 Kaczmarz 方法（RK）及类似的随机迭代方法因其高效的实现和内存占用而受到近期相当多的关注。这些方法能够容忍流式数据，每次仅访问部分数据，并且即使系统受到噪声影响也能逼近最小二乘解。然而，当数据受到较大的（可能是对抗性的）损坏时，这些方法无法收敛，因为损坏的数据点会将迭代点拉离真实解很远。最近提出的一种解决方案是 QuantileRK 方法，该方法通过在迭代过程中仔细探索空间来避免有害的损坏数据。探索部分需要计算来自系统的大样本的分位数，其计算量远大于后续的迭代更新。在本文中，我们提出一种方法，通过引入分块 Kaczmarz 方法的平均版本，更好地利用探索过程中获得的信息。这显著加快了收敛速度，同时仍允许恒定比例的方程被任意损坏。我们提供了理论收敛保证以及实验支持证据。我们还证明了经典的基于投影的分块 Kaczmarz 方法无法对稀疏对抗性损坏保持鲁棒，相反，分块必须通过平均一维投影来实现。
引用
@article{arxiv.2206.12554,
title = {On Block Accelerations of Quantile Randomized Kaczmarz for Corrupted Systems of Linear Equations},
author = {Lu Cheng and Benjamin Jarman and Deanna Needell and Elizaveta Rebrova},
journal= {arXiv preprint arXiv:2206.12554},
year = {2023}
}