利用矩阵分解预处理实现快速准确的 Gaussian 核岭回归
数值分析
2021-04-07 v3 机器学习
数值分析
摘要
本文提出一种为核岭回归问题构建预条件子的方法，该预条件子不仅能有效大幅降低条件数，而且在其应用上就计算成本和内存消耗而言也是高效的。所建议的方法基于随机矩阵分解方法，并结合快速多极子方法，以实现能以与数据点数量成线性的复杂度处理大型数据集的算法。此外，提供了详细的理论分析，包括条件数的上界。最后，对于 Gaussian 核，分析表明所需达到期望条件数的秩可直接从数据集本身确定，而无需对核矩阵进行任何分析。
引用
@article{arxiv.1905.10587,
title = {Fast and Accurate Gaussian Kernel Ridge Regression Using Matrix Decompositions for Preconditioning},
author = {Gil Shabat and Era Choshen and Dvir Ben Or and Nadav Carmel},
journal= {arXiv preprint arXiv:1905.10587},
year = {2021}
}
备注
accepted to SIAM Journal on Matrix Analysis and Applications