锐刃上的学习：多项式神经网络的可辨识性与奇点
机器学习
2026-02-16 v2 代数几何
摘要
我们研究由神经网络参数化的函数空间，称为神经流形。具体而言，我们聚焦于具有足够通用多项式激活函数的深度多层感知器 (MLP) 和卷积神经网络 (CNN)。首先，我们解决可辨识问题，证明对于神经流形中几乎所有函数，仅有有限多个参数选择可产生该函数。对于 CNN，参数化通常是一对一的。因此，我们计算了神经流形的维数。其次，我们描述神经流形的奇点。我们完全描述了 CNN 的奇点，并部分描述了 MLP 的奇点。在两种情况下，奇点都源于稀疏子网络。对于 MLP，我们证明这些奇点常常对应于均方误差损失的临界点，而这在 CNN 中不成立。这提供了 MLP 稀疏偏置的几何解释。我们的所有结果都依赖于代数几何工具。
引用
@article{arxiv.2505.11846,
title = {Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks},
author = {Vahid Shahverdi and Giovanni Luca Marchetti and Kathlén Kohn},
journal= {arXiv preprint arXiv:2505.11846},
year = {2026}
}
备注
Published at ICLR 2026