数据与任务的物理学：深度学习中局部性和组合性理论

深度神经网络取得了显著的成功，但我们对其学习方式的理解仍有限。这些模型能够学习高维任务，这通常由于维度灾变而在统计上难以实现。这种看似矛盾的现象暗示，可学习的数据必须具有潜在结构。这种结构的本质是什么？神经网络如何编码和利用它，以及它如何定量影响性能——例如，随着训练样本数量的增加，泛化如何改善？本论文通过研究数据、任务和深度学习表示中的局部性和组合性在数据、任务和深度学习表示中的作用来回答这些问题。