无分布偏差界及领域知识在基于交叉验证风险估计的模型选择学习中的作用
机器学习
2024-05-27 v2 机器学习
摘要
用于风险估计和模型选择的交叉验证技术在统计学和机器学习中被广泛使用。然而，面对其广泛的使用，通过基于交叉验证风险估计的模型选择进行学习的理论性质的理解还相当不足。在此背景下，本文将基于交叉验证风险估计的模型选择学习作为经典统计学习理论中的一个通用系统性学习框架提出，并建立了关于 VC 维的无分布偏差界，给出了结果的详细证明，且同时考虑了有界和无界损失函数。特别地，我们研究了如何通过建模候选模型集合来提升经由模型选择学习的泛化能力。我们将学习空间定义为一种候选模型类，其中由包含关系给出的偏序反映了模型的复杂度，并形式化了基于领域知识定义它们的方式。我们在有限域上学习分类器的最坏情况场景和线性回归的典型场景中说明了这种建模。通过理论洞见和具体示例，我们旨在提供基于领域知识选择候选模型族以提升泛化能力的指导。
引用
@article{arxiv.2303.08777,
title = {Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation},
author = {Diego Marcondes and Cláudia Peixoto},
journal= {arXiv preprint arXiv:2303.08777},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2109.03866