使用混合正则化避免随机特征模型的双下降现象
机器学习
2020-12-15 v1 机器学习
摘要
我们证明了混合正则化方法能够自动避免随机特征模型（RFM）训练中所出现的双下降现象。双下降现象的标志性特征是在插值阈值处正则化间隙出现尖峰，即当RFM中的特征数等于训练样本数时。为缩小该间隙，本文所考虑的混合方法结合了两种最常见正则化形式各自的优点：早停和权重衰减。该方案不需要超参数调优，因为它通过使用广义交叉验证（GCV）自动选择停止迭代和权重衰减超参数。这也避免了专用验证集的必要性。尽管混合方法的益处已在不适定逆问题中被充分记录，我们的工作提出了其在机器学习中的首个用例。为揭示正则化的必要性并引出混合方法，我们受图像分类启发进行了详细的数值实验。在这些例子中，混合方案成功避免了双下降现象，并产生了泛化能力与使用测试数据最优调优超参数的经典正则化方法相当的RFM。我们在 https://github.com/EmoryMLIP/HybridRFM 提供了用于实现本文数值实验的MATLAB代码。
引用
@article{arxiv.2012.06667,
title = {Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization},
author = {Kelvin Kan and James G Nagy and Lars Ruthotto},
journal= {arXiv preprint arXiv:2012.06667},
year = {2020}
}