双下降风险与体积饱和效应：一种几何视角
机器学习
2020-11-11 v2 机器学习
摘要
双下降风险现象的出现日益受到机器学习和统计学界的关注，因为它挑战了关于U形训练-测试曲线的已被充分理解的观念。受Rissanen的最小描述长度(MDL)、Balasubramanian的奥卡姆剃刀以及Amari的信息几何的启发，我们研究了模型体积的对数：，如何拓展AIC和BIC模型选择准则背后的直觉。我们发现，对于各向同性线性回归和统计格子这两类特定模型，项可分解为若干不同分量之和，每一分量都有助于解释该现象的出现。它们尤其说明了为何泛化误差未必随模型维数增加而持续增长。
引用
@article{arxiv.2006.04366,
title = {Double Descent Risk and Volume Saturation Effects: A Geometric Perspective},
author = {Prasad Cheema and Mahito Sugiyama},
journal= {arXiv preprint arXiv:2006.04366},
year = {2020}
}
备注
Updated version. Some parts have been re-structured, and certain elements shifted to Appendix