具有稀疏依赖结构的可压缩谱混合核用于高斯过程
机器学习
2023-07-27 v9 机器学习
摘要
谱混合（SM）核是 Gaussian 过程（GPs）中一类强大的广义核，用于描述复杂模式。本文向原始SM核引入模型压缩以及时间与相位（TP）调制依赖结构，以提升GPs的泛化能力。具体而言，通过采用 Bienaymé 恒等式，我们借助SM分量间的互协方差推广了依赖结构；进而利用SM分量间的互卷积提出一种带依赖结构的新型SM核（SMD）。此外，我们通过以时间与相位延迟参数化依赖结构来改善其表达能力。该依赖结构在谱密度、协方差行为与采样路径方面具有清晰解释。为赋予SMD有效的超参数初始化、可压缩SM核分量及稀疏依赖结构，我们最终提出一种新颖的结构自适应（SA）算法。在合成与真实应用上对SMD的详尽对比分析印证了其有效性。
引用
@article{arxiv.1808.00560,
title = {Compressible Spectral Mixture Kernels with Sparse Dependency Structures for Gaussian Processes},
author = {Kai Chen and Yijue Dai and Feng Yin and Elena Marchiori and Sergios Theodoridis},
journal= {arXiv preprint arXiv:1808.00560},
year = {2023}
}
备注
13 pages