无限宽度模型可行：为何特征学习在你所想象的方面不那么重要
机器学习
2024-10-25 v2 人工智能
摘要
许多无限宽度结构（如神经切向核函数）历史上表现较差，通常归因于缺乏特征学习。我们指出这一解释不足。具体而言，我们展示无限宽度核函数无需特征学习即可学习相同行为，通过从其（无限）冻结特征向量中选择相关子特征。进一步，我们在实验中表明，即使人为关闭特征学习，核函数也低于传统有限模型。相反，我们指出性能较差至少部分原因在于现有构造依赖弱优化器（如 SGD）。我们提供一种基于 ADAM 类学习动力学的新型无限宽度极限，实验表明所得模型消除了这一性能差距。
引用
@article{arxiv.2406.18800,
title = {Infinite Width Models That Work: Why Feature Learning Doesn't Matter as Much as You Think},
author = {Luke Sernau},
journal= {arXiv preprint arXiv:2406.18800},
year = {2024}
}