深度自举框架：好的在线学习器即好的离线泛化器
机器学习
2021-02-22 v2 计算机视觉与模式识别
神经与进化计算
统计理论
机器学习
统计理论
摘要
我们提出一个用于推理深度学习泛化的新框架。其核心思想是将真实世界（优化器在经验损失上采取随机梯度步）与理想世界（优化器在总体损失上采取步）相耦合。这导致测试误差被交替分解为：(1) 理想世界测试误差加上 (2) 两个世界之间的差距。若该差距 (2) 普遍较小，则将离线学习中的泛化问题化简为在线学习中的优化问题。我们随后给出经验证据，表明该世界间差距在现实深度学习设定（特别是监督图像分类）中可能很小。例如，CNN 在真实世界中的图像分布上比 MLP 泛化更好，但这是“因为”它们在理想世界上优化得更快。这表明我们的框架是理解深度学习泛化的有用工具，并为该领域未来研究奠定基础。
引用
@article{arxiv.2010.08127,
title = {The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers},
author = {Preetum Nakkiran and Behnam Neyshabur and Hanie Sedghi},
journal= {arXiv preprint arXiv:2010.08127},
year = {2021}
}
备注
Accepted to ICLR 2021