高斯过程回归与分类的自蒸馏
机器学习
2023-04-06 v1 机器学习
摘要
我们提出两种将知识蒸馏概念拓展至高斯过程回归（GPR）与高斯过程分类（GPC）的思路：以数据为中心与以分布为中心。以数据为中心的方法类似于当前多数机器学习蒸馏技术，在教师模型的确定性预测上重新拟合模型；而以分布为中心的方法在下一轮迭代中复用完整的概率后验。通过分析这些方法的属性，我们表明 GPR 的以数据为中心方法与核岭回归自蒸馏的已知结果密切相关，且 GPR 的以分布为中心方法对应于以非常特定超参数选择进行的普通 GPR。此外，我们证明 GPC 的以分布为中心方法近似对应于数据复制与协方差的特定缩放，而 GPC 的以数据为中心方法需将模型从二项似然重定义为连续伯努利似然以使其良定义。据我们所知，我们提出的方法首次针对高斯过程模型系统表述了知识蒸馏。
引用
@article{arxiv.2304.02641,
title = {Self-Distillation for Gaussian Process Regression and Classification},
author = {Kenneth Borup and Lars Nørvang Andersen},
journal= {arXiv preprint arXiv:2304.02641},
year = {2023}
}
备注
10 pages; code at https://github.com/Kennethborup/gaussian_process_self_distillation