探寻泛化的鲁棒度量
机器学习
2021-01-22 v2 机器学习
摘要
深度学习中的主要科学挑战之一是解释泛化，即为何学界如今训练网络以取得小训练误差的方式也能导致来自同一总体的留出数据上出现小误差。人们广泛认识到，某些最坏情形理论——例如基于现代神经网络架构所诱导预测器类的 VC 维者——无法解释经验性能。大量工作旨在缩小此差距，主要通过推导泛化误差、优化误差与超额风险的界。然而当经验评估时，这些界大多数值上空洞。聚焦于泛化界，本工作探讨如何经验地评估此类界。Jiang 等人 (2020) 近期描述了一项大规模实证研究，旨在揭示界/度量与泛化间潜在因果关系。基于其研究，我们指出其所提方法在何处会掩盖泛化度量解释泛化时的失败与成功。我们主张，泛化度量应在分布鲁棒性框架下评估。
引用
@article{arxiv.2010.11924,
title = {In Search of Robust Measures of Generalization},
author = {Gintare Karolina Dziugaite and Alexandre Drouin and Brady Neal and Nitarshan Rajkumar and Ethan Caballero and Linbo Wang and Ioannis Mitliagkas and Daniel M. Roy},
journal= {arXiv preprint arXiv:2010.11924},
year = {2021}
}
备注
27 pages, 11 figures, 34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada