可微几何深度学习的通用逼近定理
摘要
本文针对处理非欧几里得数据日益增长的需求，引入了一种几何深度学习（GDL）框架，用于构建兼容可微流形几何的通用前馈型模型。我们证明了我们的 GDL 模型能在受控最大直径的紧集上一致逼近任意连续目标函数。我们得到了该最大直径的依赖于曲率的下界，以及逼近 GDL 模型深度的上界。反之，我们发现任意两个非退化紧流形之间总存在一个连续函数，是任何“局部定义”的 GDL 模型无法一致逼近的。我们的最后一个主要结果确定了数据依赖的条件，保证实现我们逼近的 GDL 模型打破“维数灾难”。我们发现任何“真实世界”（即有限）数据集总满足我们的条件，反之若目标函数光滑则任何数据集都满足我们的要求。作为应用，我们确认了以下 GDL 模型的通用逼近能力：Ganea 等人（2018）的双曲前馈网络、实现 Krishnan 等人（2015）深度卡尔曼滤波的架构，以及深度 softmax 分类器。我们构建了以下模型的通用扩展/变体：Meyer 等人（2011）的 SPD 矩阵回归器，以及 Fletcher（2003）的 Procrustes 回归器。在欧几里得情形下，我们的结果意味着 Kidger 和 Lyons（2020）逼近定理的定量版本，以及 Yarotsky 和 Zhevnerchuk（2019）无诅咒逼近速率的数据依赖版本。
引用
@article{arxiv.2101.05390,
title = {Universal Approximation Theorems for Differentiable Geometric Deep Learning},
author = {Anastasis Kratsios and Leonie Papon},
journal= {arXiv preprint arXiv:2101.05390},
year = {2022}
}
备注
Keywords: Geometric Deep Learning, Symmetric Positive-Definite Matrices, Hyperbolic Neural Networks, Deep Kalman Filter, Shape Space, Riemannian Manifolds, Curse of Dimensionality. Additional Information: 33 Pages + 30 Pages Appendix + Bibliography, 2 Tables, 7 Figures;