重新思考数据表示中的不变性深度学习

将不变性融入数据表示是智能系统和Web应用中的原则性设计。表示起着基础性作用，系统和应用都建立在数字输入的 meaningful 表示（而非原始数据）之上。事实上，此类表示的恰当设计/学习依赖于所关注任务的先验。在这里，来自埃尔朗根纲领的对称性概念可能是最富有成效的先验——非正式地说，系统的对称性是使系统的某种性质保持不变的变换。对称性先验无处不在，例如平移作为对象分类的对称性，其中对象类别在平移下保持不变。对不变性的追求与模式识别和数据挖掘本身一样古老。不变设计是深度学习时代之前各种表示的基石，例如SIFT。当我们进入深度学习的早期时代时，不变性原理在很大程度上被忽略，取而代之的是数据驱动的范式，例如CNN。然而，这种忽视并未持续太久，随后它们便遇到了鲁棒性、可解释性、效率等方面的瓶颈。不变性原理在重新思考深度学习的时代回归，形成了一个名为几何深度学习的新领域。在本教程中，我们将给出数据表示中不变性的历史视角。更重要的是，我们将识别那些研究困境、有前景的工作、未来方向以及Web应用。