并非权衡而是对齐：重新审视深度模型中的偏差与方差
机器学习
2023-10-16 v1 人工智能
机器学习
摘要
机器学习中的经典观点认为泛化误差可分解为偏差与方差，且这两项呈现\emph{权衡}。然而，在本文中我们表明，对于基于深度学习的分类模型集成，偏差与方差在样本层级是\emph{对齐}的，其中对于正确分类的样本点，平方偏差近似\emph{等于}方差。我们给出了在多种深度学习模型与数据集上证实该现象的经验证据。此外，我们从两个理论视角研究该现象：校准与神经崩塌。我们首先在模型良好校准的假设下从理论上证明可观测到偏差-方差对齐。其次，从神经崩塌理论所提供的图像出发，我们展示了偏差与方差间的近似关联。
引用
@article{arxiv.2310.09250,
title = {It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models},
author = {Lin Chen and Michal Lukasik and Wittawat Jitkrittum and Chong You and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2310.09250},
year = {2023}
}