关于过参数化模型在外分布泛化方面的优势
机器学习
2024-03-27 v1 机器学习
摘要
近年来，机器学习模型基于独立同分布假设取得了成功。然而，这一假设在实际应用中容易被破坏，导致外分布（Out-of-Distribution, OOD）问题。理解现代过参数化深度神经网络在非平凡自然分布迁移下的行为至关重要，因为现有理论理解在OOD情境下往往毫无意义，甚至与实证发现相矛盾。为此，我们在一般良好过拟合条件下，研究过参数化模型在OOD泛化中的表现。我们的分析聚焦于随机特征模型，考察非平凡自然分布迁移，其中良好过拟合估计器在实现零外分布（ID）损失的同时表现出常数OD损失。我们进一步表明，在该情境下，进一步增加模型参数化程度可显著降低OD损失。直观地说，由于长尾特征的正交性，ID损失的方差项保持较低，这意味着训练期间对噪声的过拟合通常不会提高测试损失。然而在OOD情况下，分布迁移会增加方差项。幸运的是，固有的迁移与单个无关，保持了长尾特征的正交性。扩大隐藏维度还能通过将特征映射到更高维空间来进一步提高这种正交性，从而降低方差项。我们进一步表明，模型集束也能改善OD损失，类似于增加模型容量。这些见解解释了通过模型集束实现OD泛化增强的实证现象，得到与理论结果一致的仿真支持。
引用
@article{arxiv.2403.17592,
title = {On the Benefits of Over-parameterization for Out-of-Distribution Generalization},
author = {Yifan Hao and Yong Lin and Difan Zou and Tong Zhang},
journal= {arXiv preprint arXiv:2403.17592},
year = {2024}
}