使用复值神经网络的最优逼近

复值神经网络（CVNNs）近来展现出令人鼓舞的实证成功，例如在提升循环神经网络稳定性以及改善具有复值输入任务（如 MRI fingerprinting）中的性能方面。尽管深度学习在实值情形下的巨大成功已有日益坚实的数学基础支撑，但复值情形下的此类基础仍大体缺失。因此我们通过对 CVNNs 逼近性质的研究来分析其表达能力。我们的结果给出了适用于广泛激活函数类（包括流行的 modReLU 与复值心形激活函数）的 CVNNs 首个定量逼近界。确切地说，我们的结果适用于任意在某个非空开集上光滑但非多调和的激活函数；这是光滑非多项式激活函数类在复值设定下的自然推广。我们的主要结果表明，对 $C^k$-函数的逼近误差在 $m \to \infty$ 时按 $m^{-k/(2n)}$ 缩放，其中 $m$ 为神经元数量，$k$ 为目标函数的光滑度，$n$ 为（复）输入维数。在自然的连续性假设下，我们证明该速率是最优的；我们进一步讨论了在去掉该假设时的最优性。此外，我们证明使用连续逼近方法逼近 $C^k$-函数的问题不可避免地遭受维数灾难。