受监督核稀疏化

Dwivedi 与 Mackey (2024) 提出的核稀疏化算法可对通用点集实现优于独立同分布（i.i.d.）的压缩。该算法生成的高保真 core set 大小显著小于输入点数，被证明可加速蒙特卡罗积分、不确定性量化和非参数假设检验等无监督任务，同时在统计准确性上几乎无损。本文将 KT 算法推广至加速涉及核方法的监督学习问题。具体而言，我们将两种经典算法——Nadaraya-Watson（NW）回归或核平滑，以及核脊 Ridge 回归（KRR）——与 KT 结合，提供在训练和推断时间上实现二次加速。我们表明，结合 KT 的分布压缩在每种情形下均化简为构建合适的核函数，并提出核稀疏化 NW 与核稀疏化 KRR 估计器。我们证明，基于 KT 的回归估计器在计算效率上显著优于全数据估计器，在统计效率上优于 i.i.d. 子采样。我们还提供了压缩 KT 的一种新型乘法误差保证。我们通过仿真和真实数据实验验证了设计选择的有效性。