关于神经网络激活空间的几何结构
机器学习
2019-04-03 v1 机器学习
摘要
在本文中，我们研究了神经网络中全连接层激活空间的几何结构，并展示了该研究的若干应用。我们提出了一种高效近似算法来刻画高维空间中海量点的凸包。基于这一新算法，我们归纳出激活空间共有的四个常见几何性质，从而对激活空间给出了相当清晰的描述。我们随后提出一种基于该几何结构描述的替代分类方法，其效果优于单独使用神经网络。令人惊讶的是，该数据分类方法可作为神经网络中过拟合的指示指标。我们相信我们的工作揭示了现代神经网络的若干关键内在性质，并进一步给出了评估它们的全新度量。
引用
@article{arxiv.1904.01399,
title = {On Geometric Structure of Activation Spaces in Neural Networks},
author = {Yuting Jia and Haiwen Wang and Shuo Shao and Huan Long and Yunsong Zhou and Xinbing Wang},
journal= {arXiv preprint arXiv:1904.01399},
year = {2019}
}