过参数化：模型具备外推能力的一个必要条件
机器学习
2022-03-22 v1 代数几何
摘要
在本工作中，我们研究过参数化作为模型能够在训练集凸包之外进行外推的必要条件。具体而言，我们考虑分类模型，例如图像分类及其他深度学习应用。此类模型是将定义域进行划分并为每个划分分配一个类别的分类函数 \cite{strang2019linear}。划分由决策边界定义，分类模型/函数亦如此。训练集的凸包可能仅占定义域的一个子集，但训练后的模型可能对整个定义域进行划分，而不仅限于训练集的凸包。这一点很重要，因为许多测试样本可能位于训练集凸包之外，而模型在凸包之外对定义域的划分方式将影响其泛化能力。利用逼近理论，我们证明过参数化是对训练集凸包之外定义域的划分具备控制能力的必要条件。我们还基于手头的学习任务和训练集提出了对过参数化概念的更清晰定义。我们给出了关于数据集（图像与非图像）几何结构的经验证据，以揭示模型所执行外推的程度。我们考虑由 ResNet 模型学习的 64 维特征空间，并研究该空间中凸包与决策边界的几何排布。我们还形式化了外推的概念并将其与模型的作用范围相联系。最后，我们回顾了纯数学与应用数学中丰富的外推文献，例如惠特尼扩张问题，并将我们的理论置于该背景之中。
引用
@article{arxiv.2203.10447,
title = {Over-parameterization: A Necessary Condition for Models that Extrapolate},
author = {Roozbeh Yousefzadeh},
journal= {arXiv preprint arXiv:2203.10447},
year = {2022}
}