通过学不变表示打破深度神经网络中的维度灾难

人工智能，尤其是机器学习的子领域，已向从数据学习并适应数据的数据驱动模型范式转变。这在自然语言处理和计算机视觉等多个领域带来了前所未有的进展，主要归功于深度学习这一特殊机器学习模型类。深度学习可谓通过一系列计算层从原始数据学习相关特征而超越传统方法。本论文通过研究这些模型架构与其所处理数据固有结构之间的关系，探索深度学习的理论基础。具体而言，我们追问：是什么驱动了深度学习算法的效能并使其战胜所谓的维度灾难——即由于数据点需求随维度指数增长而导致高维函数一般学习的困难？是否是它们通过利用数据结构来学习相关数据表示的能力？不同架构如何利用不同数据结构？为解答这些问题，我们推进这样一种观点：数据的结构可有效地由其不变性刻画——即与当前任务无关方面。我们的方法对深度学习采取经验路线，将实验研究与受物理学启发的玩具模型相结合。这些简化模型使我们能研究并解释在深度学习系统中观察到的复杂行为，洞察其内在机制，并以弥合理论与实践差距为长远目标。