从损失函数重构训练样本

本文提出一个新的数学框架，用于分析带有 ReLU 函数的深度神经网络的损失函数。此外，作为该理论的应用，我们证明损失函数能够在标量乘法意义下（作为向量）重构训练样本的输入，并能够给出深度神经网络的层数与节点数。即，若我们拥有损失函数的所有输入与输出（或等价地所有可行的学习过程），则对每个训练样本的输入 $x_i \in \mathbb{R}^n$，我们可获得向量 $x'_i\in \mathbb{R}^n$ 满足 $x_i=c_ix'_i$（其中某 $c_i \neq 0$）。为证明定理，我们引入虚拟多项式的概念，即写为深度神经网络中某节点输出的多项式。利用虚拟多项式，我们为损失曲面发现一种称为半代数集的代数结构。我们从代数几何的观点分析这些损失曲面。多项式的因式分解是代数中最标准的思想之一。因此，我们用虚拟多项式的活跃路径表达其因式分解。该框架可应用于深度神经网络训练中的信息泄露问题。本文的主定理表明深度神经网络的训练伴随诸多风险。例如，若我们在损失曲面上拥有 N（权重空间维数）+ 1 个彼此足够接近的非光滑点，我们便可在标量乘法意义下获得训练样本的输入。我们还指出，损失曲面的结构依赖于深度神经网络的形状而非训练样本。