利用学习曲线在高维数据环境下估计预测性能
统计方法学
2022-06-09 v1 机器学习
摘要
在高维预测环境下，可靠地估计测试性能仍然具有挑战性。为应对这一挑战，本文提出了一种新颖的性能估计框架。该框架称为 Learn2Evaluate，基于学习曲线，通过拟合一条平滑单调曲线，将测试性能描绘为样本量的函数。与常用的性能估计方法相比，Learn2Evaluate 具有若干优势。首先，学习曲线提供了学习器的图形化概览。该概览有助于评估增加训练样本的潜在收益，并且相较于在固定子样本量下的性能估计，它提供了对学习器之间更完整的比较。其次，学习曲线有助于估计总样本量而非子样本量下的性能。第三，Learn2Evaluate 允许计算一个理论上有依据且有用的下置信界。此外，该界可通过执行偏差校正而收紧。Learn2Evaluate 的优势通过一项模拟研究及对组学(omics)数据的应用得到说明。
引用
@article{arxiv.2206.03825,
title = {Estimation of Predictive Performance in High-Dimensional Data Settings using Learning Curves},
author = {Jeroen M. Goedhart and Thomas Klausch and Mark A. van de Wiel},
journal= {arXiv preprint arXiv:2206.03825},
year = {2022}
}
备注
19 pages, 2 figures, 2 tables