子空间拟合遇见回归：监督与正交归一约束对泛化误差双下降的影响
机器学习
2020-08-21 v3 机器学习
摘要
我们研究过参数化设置下的线性子空间拟合问题，其中估计的子空间可以完美插值训练样本。我们的范围包括具有不同训练数据监督水平（即所需低维映射的输入-输出样本比例）和定义所学算子的向量的正交归一性的子空间拟合任务的最小二乘解。这一灵活的问题族将强制严格正交归一的标准无监督子空间拟合与完全监督且不约束线性算子结构的对应回归任务联系起来。这类问题定义在监督-正交归一平面上，其中每个坐标引出具有独特监督水平和正交归一约束软度的问题实例。我们探索该平面并表明相应子空间拟合问题的泛化误差随着设置变得更监督和更少正交归一约束而遵循双下降趋势。
引用
@article{arxiv.2002.10614,
title = {Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors},
author = {Yehuda Dar and Paul Mayer and Lorenzo Luzi and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2002.10614},
year = {2020}
}