可学习幂律基的 M"untz-Sz\'asz 网络

标准神经网络架构采用固定激活函数（如 ReLU、tanh、sigmoid），不适用于近似具有奇异或分数幂行为的函数——这类结构在物理学中随处可见，包括边界层、断裂力学和拐角奇异。我们提出 M"untz-Sz\'asz 网络（MSN），一种新型架构，用可学习的分数幂基代替固定光滑激活函数。每个 MSN 边缘计算 $\phi(x) = \sum_k a_k |x|^{\mu_k} + \sum_k b_k \mathrm{sign}(x)|x|^{\lambda_k}$，其中指数 $\{\mu_k, \lambda_k\}$ 需随系数一起学习。我们证明 MSN 继承了 M"untz-Sz\'asz 定理中的通用逼近能力，并建立了新的逼近率：对于形如 $|x|^\alpha$ 的函数，MSN 以单个学习指数即可实现误差 $\mathcal{O}(|\mu - \alpha|^2)$，而标准多层感知机则需 $\mathcal{O}(\epsilon^{-1/\alpha})$ 个神经元才能达到相当精度。在带有奇异目标函数的监督回归任务中，MSN 比 MLP 低 5-8 倍误差且参数数目仅为其 10 倍。物理信息神经网络（PINN）是奇异函数逼近的极具挑战性的应用场景；在包括奇异常微分方程和刚性边界层问题在内的 PINN 基准测试中，MSN 实现了 3-6 倍的提升，同时学习到的可解释指数与已知解结构相吻合。我们的结果表明，理论引导的架构设计可为特定科学问题类函数的逼近带来显著提升。