ReLU 网络中的切空间敏感性与线性区域分布

近期的文章表明深度神经网络是各类学习问题的有效模型。然而它们往往对各种独立观察者无法察觉的变化高度敏感。由于我们用传统泛化界对深度神经网络的理解仍不完整，已有若干度量用于刻画模型在特定状态下微小变化时的行为。本文考虑切空间中的对抗稳定性，并提出切敏感性以刻画稳定性。我们关注一类特定的稳定性，即相对于由无已知标签的单个样本所诱导的参数变化而言的稳定性。我们推导了前馈全连接 ReLU (Rectified Linear Unit) 网络的若干易于计算的界与经验度量，并将切敏感性与网络在输入空间中实现的激活区域分布联系起来。我们的实验表明，即便简单的界与度量也与经验泛化差距相关。