通过学习动力学理解简单性偏置对成分映射的影响

获取成分映射对于模型在成分方面实现良好泛化至关重要。为了更好地理解何时如何鼓励模型学习此类映射，我们通过不同视角来研究其唯一性。具体而言，我们首先表明，通过编码长度（即Kolmogorov复杂度的上界）来看，成分映射是最简单的双射。这一属性解释了为何具有此类映射的模型能够实现良好的泛化。我们进一步表明，简单性偏置通常是神经网络训练通过梯度下降的内在属性。这部分解释了为何一些模型在训练得当时能够自然实现良好的泛化。