V-fold惩罚与交叉验证在分布无关回归中的模型选择实证比较
机器学习
2012-12-11 v1
摘要
模型选择是机器学习中的关键问题,近年来已引入多种惩罚方法(可能具有数据依赖的复杂度惩罚)以用于此目的。然而其实证性能在文献中通常不够充分地记录。本文旨在调查这些近期技术在支撑向量回归(SVR)的正则化和核参数以及回归树(CART)的复杂度度量进行调参方面是否能够成功应用。该任务传统上通过V折交叉验证(VFCV)来实现,该方法在计算成本合理的情况下提供高效结果。然而,VFCV的一个缺点是该程序已知在样本数趋于无穷时会提供渐近次优的风险估计。最近提出了一种称为V折惩罚的惩罚过程,以理论论证支持可改进VFCV。我们在本文中报告了一系列广泛实验,比较了V折惩罚与VFCV在SVR/CART校准上的表现。我们指出了VFCV和V折惩罚分别提供不佳风险估计的情形,并引入一种修改后的惩罚技术以降低估计误差。
引用
@article{arxiv.1212.1780,
title = {An Empirical Comparison of V-fold Penalisation and Cross Validation for Model Selection in Distribution-Free Regression},
author = {Charanpal Dhanjal and Nicolas Baskiotis and Stéphan Clémençon and Nicolas Usunier},
journal= {arXiv preprint arXiv:1212.1780},
year = {2012}
}