线性卷积网络的函数空间与临界点

我们研究具有一维卷积层的线性网络的几何性质。这些网络的函数空间可识别为容许稀疏因式分解的半代数多项式族。我们分析网络架构对函数空间的维数、边界和奇异点的影响。我们还描述了网络参数化映射的临界点。此外，我们研究以平方误差损失训练网络的优化问题。我们证明，对于所有步长均大于一且数据为泛化数据的架构，该优化问题的非零临界点是函数空间的平滑内点。已知该性质对于稠密线性网络及步长为一的线性卷积网络不成立。