高维下 Matern 核核回归退化为低阶多项式回归
计算物理
2024-06-26 v1 机器学习
摘要
核方法如带 Matern 型核的核岭回归与高斯过程回归已日益广泛使用，特别是用于拟合势能面（PES）与密度泛函，以及材料信息学。当特征空间维度很高时，这些方法必然在稀疏数据下使用。在此情形下，Matern 型核的最优长度参数趋于变得极大，使得该方法实质上退化为低阶多项式回归，从而丧失相对于此类回归的任何优势。这一点在六维与十五维分子 PES 上使用平方指数核与简单指数核的例子中得到了理论与数值证明。结果进一步阐明了如 PIP 等多项式近似对中分子的成功，以及基于耦合阶的模型对于保持带 Matern 型核的核方法优势或使用物理驱动的（再生）核的重要性。
引用
@article{arxiv.2311.10790,
title = {Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension},
author = {Sergei Manzhos and Manabu Ihara},
journal= {arXiv preprint arXiv:2311.10790},
year = {2024}
}