通过潜在 Kronecker 结构实现高斯过程学习曲线预测的尺度化

AutoML 中的关键任务是将机器学习模型的学习曲线联合建模，作为模型超参数和训练进程的函数。虽然高斯过程 (Gaussian processes, GPs) 适用于此任务，但朴素的 GPs 需要 $\mathcal{O}(n^3m^3)$ 的时间和 $\mathcal{O}(n^2 m^2)$ 的空间，其中 $n$ 为超参数配置数，$\mathcal{O}(m)$ 为每个超参数的学习曲线观测数。由于缺失学习曲线值导致早停不兼容，通常不兼容的 Kronecker 结构推理效率较低。我们引入潜在 Kronecker 结构，以利用高效乘积核同时处理缺失值。具体而言，我们将观察值联合协方差矩阵解释为潜在 Kronecker 乘积的投影。结合迭代线性求解器和结构化矩阵向量乘法，我们的方法仅需 $\mathcal{O}(n^3 + m^3)$ 的时间和 $\mathcal{O}(n^2 + m^2)$ 的空间。我们展示了该 GP 模型在学习曲线预测任务中可匹配 Transformer 的性能。