半监督学习中的高效交叉验证
机器学习
2019-02-14 v1 机器学习
摘要
流形正则化，如拉普拉斯正则化最小二乘（LapRLS）与拉普拉斯支持向量机（LapSVM），已被广泛用于半监督学习，其性能在很大程度上依赖于某些超参数的选择。交叉验证（CV）是选择最优超参数最流行的方法，但由于需多次训练学习器而具有高复杂度。本文基于一种称为Bouligand影响函数（BIF）的稳健统计概念，给出了一种近似流形正则化CV的方法。我们首先通过BIF的泰勒展开给出近似CV的策略。然后，我们展示如何对一般损失函数计算BIF，并进一步给出流形正则化中用于模型选择的近似CV准则。所提流形正则化近似CV只需训练一次，因而能显著提升传统CV的效率。实验结果表明，我们的近似CV与原始CV无统计差异，但时间开销小得多。
引用
@article{arxiv.1902.04768,
title = {Efficient Cross-Validation for Semi-Supervised Learning},
author = {Yong Liu and Jian Li and Guangjun Wu and Lizhong Ding and Weiping Wang},
journal= {arXiv preprint arXiv:1902.04768},
year = {2019}
}