感知机的最小范数插值：显式正则化与隐式偏置
机器学习
2023-11-13 v1 机器学习
最优化与控制
摘要
我们研究浅层 ReLU 网络如何在已知区域间进行插值。我们的分析表明，当数据点数量与参数数量趋于无穷，且权重衰减正则化项以随网络宽度和数据点数量增长而以精确速率趋于零的系数进行惩罚时，经验风险最小化器收敛于最小范数插值器。在有和无显式正则化的情况下，我们数值研究了常见优化算法对已知最小范数插值器的隐式偏置。
引用
@article{arxiv.2311.06138,
title = {Minimum norm interpolation by perceptra: Explicit regularization and implicit bias},
author = {Jiyoung Park and Ian Pelakh and Stephan Wojtowytsch},
journal= {arXiv preprint arXiv:2311.06138},
year = {2023}
}