基于序列岭杠杆得分的Nyström方法分析

大规模核岭回归（KRR）受到需要存储大型核矩阵K_t的限制。为了避免存储整个矩阵K_t，Nyström方法对核矩阵的列子集进行子采样，并在重构矩阵上高效地找到近似的KRR解。所选择的子采样分布反过来会影响统计和计算上的权衡。对于KRR问题，最近的工作表明，与岭杠杆得分（RLS）成比例的采样分布为近似提供了强大的重构保证。虽然精确的RLS与KRR解一样难以计算，但我们可能能够足够好地近似它们。在本文中，我们研究了序列设置中的KRR问题，并引入了INK-ESTIMATE算法，该算法增量式计算RLS估计值。INK-ESTIMATE维护一个K_t的小型草图，在每一步中用于计算RLS的中间估计值。首先，我们的草图更新不需要访问先前见过的列，因此单次遍历核矩阵就足够了。其次，该算法需要一个固定的、小的空间预算来运行，该预算仅取决于核矩阵的有效维数。最后，我们的草图对真实核矩阵与其近似值之间的距离，以及在任何时间点近似KRR解的统计风险都提供了强大的近似保证，因为我们所有的保证在任何中间步骤都成立。