过参数化对特征的影响
机器学习
2024-07-02 v1
摘要
过参数化，即模型参数数量超过拟合其训练损失所必需的数量，是深度学习成功的一个关键因素。然而，过参数化网络所学习特征的特征尚不为人所熟知。本文通过比较具有相同架构但不同宽度的模型来探索此问题。我们首先检查这些模型的表达性，表明过参数化网络的特征空间无法由拼接多个欠参数化特征来表示，反之亦然。这揭示了过参数化和欠参数化网络都获得某些独特特征。随后我们评估这些模型的性能，发现即使拼接了许多欠参数化网络，过参数化网络仍表现优于欠参数化网络。我们使用 VGG-16 和 ResNet18 在 CIFAR-10 以及 Transformer 在 MNLI 分类数据集上验证了这些发现。最后，我们提出一个玩具设置来解释过参数化网络如何学习欠参数化网络无法学习的重要特征。
引用
@article{arxiv.2407.00968,
title = {How Does Overparameterization Affect Features?},
author = {Ahmet Cagri Duzgun and Samy Jelassi and Yuanzhi Li},
journal= {arXiv preprint arXiv:2407.00968},
year = {2024}
}