浅层多项式网络的几何与优化

我们研究具有单项式激活函数且输出维度为一的浅层神经网络。这些模型的函数空间可识别为具有有界秩的对称张量集合。我们描述了这些网络的一般特征，聚焦于宽度与优化之间的关系。随后我们考虑教师-学生问题，可视为针对由数据分布诱导的非标准内积的低秩张量逼近问题。在此setting下，我们引入教师-度量数据判别符，以编码优化在训练数据分布函数中的定性行为。最后，我们聚焦于具有二次激活函数的网络，深入分析了优化景观。特别是，我们提出了Eckart-Young定理的一种变体，刻画了具有高斯训练数据的二次网络教师-学生问题中所有临界点及其Hessian特征值符号。