非可辨性区分参数模型中的神经网络

神经网络与传统统计模型区分的持续问题是识别其不同于因子的关键因素。我们证明了一对结果，这些结果在回归任务中将神经网络在参数模型中区分于其他模型。首先，我们证明了对于任意随机变量 $(X,Y)$，神经网络总会学习到 $X$ 与 $Y$ 之间的非平凡关系（若存在）。其次，我们证明了在合理光滑的参数模型下，在局部和全局可辨性条件下，存在一对非平凡的 $(X,Y)$，使得参数模型学习到常数预测 $\mathbb{E}[Y]$。我们的结果表明，缺乏可辨性是神经网络在光滑参数模型中区别于其他模型的关键特征。