高维连续函数的神经网络逼近及其在反问题中的应用

过去十年中，神经网络在大量反问题中的显著成功推动了其在从医学成像到地震分析等诸多领域的应用。然而，此类反问题的高维性同时使得现有理论（预测网络规模应随问题维度指数增长）无法解释为何这些场景中使用的看似很小的网络在实践中表现如此之好。为缩小理论与实践间的差距，我们提供了一种通用方法，用于界定神经网络逼近定义于具有低复杂度结构的高维集合上的Hölder（或一致）连续函数所需的复杂度。该方法基于如下观察：给定高维集合$S\subset\mathbb{R}^D$到低维立方体$[-M,M]^d$的Johnson-Lindenstrauss嵌入$A\in\mathbb{R}^{d\times D}$的存在性，意味着对任意Hölder（或一致）连续函数$f:S\to\mathbb{R}^p$，存在Hölder（或一致）连续函数$g:[-M,M]^d\to\mathbb{R}^p$使得对所有$x\in S$有$g(Ax)=f(x)$。因此，若有一个神经网络逼近$g:[-M,M]^d\to\mathbb{R}^p$，则可添加一层实现JL嵌入$A$从而得到逼近$f:S\to\mathbb{R}^p$的神经网络。将JL嵌入结果与神经网络对Hölder（或一致）连续函数的逼近结果相结合，便获得界定神经网络逼近高维集合上Hölder（或一致）连续函数所需复杂度的结果。最终成果是一个通用理论框架，可用于比现有理论更好地解释在更广泛反问题中较小网络所观察到的经验性成功。