利用变异训练标签进行模型验证:一项探索性研究
机器学习
2021-10-22 v4 机器学习
摘要
我们介绍一项关于变异验证(MV)的探索性研究,MV 是一种用于监督学习、利用变异训练标签的模型验证方法。MV 对训练数据标签进行变异,针对变异后的数据重新训练模型,随后使用捕捉相应训练性能变化的蜕变关系来评估模型拟合度。它不使用验证集或测试集。支撑 MV 的直觉在于过拟合模型倾向于拟合训练数据中的噪声。我们探索了 8 种不同的学习算法、18 个数据集以及 5 类超参数调优任务。我们的结果表明 MV 在模型选择上是准确的:MV 的模型推荐命中率为 92%,而样本外验证低于 60%。MV 还比样本外验证在不同运行中提供更稳定的超参数调优结果。
引用
@article{arxiv.1905.10201,
title = {Model Validation Using Mutated Training Labels: An Exploratory Study},
author = {Jie M. Zhang and Mark Harman and Benjamin Guedj and Earl T. Barr and John Shawe-Taylor},
journal= {arXiv preprint arXiv:1905.10201},
year = {2021}
}