统计学习基本定理中的可测性
机器学习
2025-09-29 v3 计算机科学中的逻辑
逻辑
概率论
机器学习
摘要
统计学习基本定理表明：若假设空间的VC维为有限，则其为PAC可学习。对于agnostic模型的PAC学习，现有文献中对该定理的证明往往默默假设涉及的集合和函数满足某些可测性条件。我们从测度论角度审视这些证明，以显式提取进行严密论证所需的假设。这导致了一个严谨的表述以及详尽自包含的agnostic情境下基本定理的证明，展示了PAC可学习性所需的最小可测性要求。由于统计学习基本定理支撑了广泛的后续理论发展，我们的结果具有基础性意义：对可测性方面的细致分析尤为重要，尤其是在这些定理用于涉及测度论细微问题的情境中。我们特别讨论了在模型论中的应用，考虑NIP和o-饱和结构。我们的主要定理为在实数域的o-饱和扩张上定义的假设空间的PAC可学习性提供了充分条件。该假设空间涵盖所有使用ReLU和sigmoid函数等常用激活函数的二分类人工神经网络。
引用
@article{arxiv.2410.10243,
title = {Measurability in the Fundamental Theorem of Statistical Learning},
author = {Lothar Sebastian Krapp and Laura Wirth},
journal= {arXiv preprint arXiv:2410.10243},
year = {2025}
}
备注
42 pages plus appendix