伪特征下的正则化权衡
机器学习
2023-12-06 v2 信号处理
机器学习
摘要
大规模过参数化模型近期的成功激发了一系列研究，探讨使过参数化模型具备良好泛化能力的潜在条件。本文考虑这样一种框架：可能过参数化的模型包含伪特征，即模型中存在的但数据中不存在的特征。针对具有伪特征这一模型误设的岭回归问题，我们给出了泛化误差的非渐近高概率界。我们的高概率结果揭示了伪特征所提供的隐式正则化与岭参数所提供的显式正则化之间的相互作用。数值结果说明了伪特征数量之间的权衡，以及最优岭参数如何可能严重依赖于伪特征的数量。
引用
@article{arxiv.2212.00433,
title = {Regularization Trade-offs with Fake Features},
author = {Martin Hellkvist and Ayça Özçelikkale and Anders Ahlén},
journal= {arXiv preprint arXiv:2212.00433},
year = {2023}
}