核岭回归的聚类技术与层次矩阵格式研究

我们提出了用于机器学习中核方法的内存高效且可扩展的算法。通过使用核矩阵的层次矩阵近似，与标准稠密线性代数例程相比，内存需求、浮点运算次数和执行时间均得到大幅降低。我们同时考虑了通用 $\mathcal{H}$ 矩阵层次格式以及层次半可分（HSS）矩阵。此外，我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。对输入的有效聚类使压缩效率提高了十倍。这些算法使用 STRUMPACK 求解器库实现。结果证实——在正确调整超参数的情况下——使用压缩矩阵的核岭回归进行分类，与未压缩的精确核矩阵相比不会损失预测精度，并且我们的方法可以扩展到 $\mathcal{O}(1M)$ 数据集，对于这些数据集，使用完整核矩阵进行计算变得极其昂贵。我们在多达 1,024 个处理器的分布式内存环境中，使用机器学习社区熟知且维度从 8 到 784 不等的数据集，在 NERSC 的 Cori 超级计算机上进行了数值实验。