密集神经网络不具备通用逼近能力
机器学习
2026-05-19 v6 机器学习
摘要
我们研究密集神经网络的逼近能力。虽然通用逼近定理表明，若权重值无限制，足够大的网络架构可逼近任意连续函数，但我们证明密集神经网络不具备这种普遍性。我们的论证基于模型压缩方法，结合弱正则性引理与前馈网络作为消息传递图神经网络的解释。我们考虑受自然约束的 ReLU 神经网络，这些约束涉及权重和输入/输出维度，构成密集连接的模型。在此框架下，我们证明存在连续 Lipschitz 函数无法被此类网络逼近。这一发现凸显了具有密集层的神经网络的内在局限性，动机是使用稀疏连接作为实现真正普遍性所必需的要素。
引用
@article{arxiv.2602.07618,
title = {Neural Networks With Dense Weights Are Not Universal Approximators},
author = {Levi Rauchwerger and Stefanie Jegelka and Ron Levie},
journal= {arXiv preprint arXiv:2602.07618},
year = {2026}
}