几何复杂性对迁移学习中神经坍缩的影响

许多近期计算机视觉和语言模型的显著进展可归因于通过预训练大型基础模型的迁移学习的成功。然而，解释这种经验成功的理论框架尚不完整，仍是一个活跃的研究领域。损失曲面的平坦性和神经坍缩最近成为有用的预训练指标，揭示了预训练背后的隐式偏差。在本文中，我们探索了模型学习表示的几何复杂性作为连接这两个概念的基本机制。我们通过实验和理论表明，影响预训练网络几何复杂性的机制也影响神经坍缩。此外，我们展示了这种几何复杂性的效应如何泛化到新类别的神经坍缩，从而促进下游任务（尤其是少样本设置）的更好性能。