神经网络的局部弹性

Hangfeng He; Weijie J. Su

神经网络的局部弹性

机器学习 2020-02-18 v2 计算机视觉与模式识别机器学习

作者: Hangfeng He , Weijie J. Su

摘要

本文提出神经网络中一种我们称之为局部弹性的现象。粗略地说，若分类器在某一(带标签)特征向量 $\bx$ 上通过随机梯度下降更新后，其在特征向量 $\bx'$ 处的预测未被显著扰动，且 $\bx$ 在某种意义下与 $\bx'$ 不相似，则称该分类器是局部弹性的。通过在实际与合成数据集上的大量仿真，表明该现象在具有非线性激活函数的神经网络中持续存在，而在线性分类器中未观察到。此外，我们利用神经正切核 \citep{jacot2018neural} 给出局部弹性的几何解释。基于局部弹性，我们获得特征向量间的成对相似性度量，可与 $K$ -means 结合用于聚类。聚类算法在 MNIST 与 CIFAR-10 数据集上的有效性进而证实了神经网络在实际数据上局部弹性的假设。最后，我们讨论局部弹性的一些启示，以阐明深度神经网络的若干引人注目之处。

关键词

局部弹性神经网络随机梯度下降神经正切核相似性度量聚类深度神经网络

引用

@article{arxiv.1910.06943,
  title  = {The Local Elasticity of Neural Networks},
  author = {Hangfeng He and Weijie J. Su},
  journal= {arXiv preprint arXiv:1910.06943},
  year   = {2020}
}

备注

To appear in ICLR 2020

神经网络的局部弹性

摘要

关键词

引用

备注

相关论文