深度神经网络中线性区域性质的实证研究
机器学习
2020-04-30 v3 机器学习
摘要
具有分段线性激活的深度神经网络（DNN）可将输入空间划分为众多小线性区域，并在其中拟合不同的线性函数。人们认为这些区域的数量代表了 DNN 的表达能力。本文提供了一种新颖而细致的视角来审视 DNN：我们不仅统计线性区域的数量，还研究它们的局部性质，如内切球、相应超平面的方向、决策边界以及周围区域的相关性。我们通过实验观察到，不同的优化技术会导致完全不同的线性区域，即使它们带来了相似的分类精度。我们希望我们的研究能启发新型优化技术的设计，并有助于发现和分析 DNN 的行为。
引用
@article{arxiv.2001.01072,
title = {Empirical Studies on the Properties of Linear Regions in Deep Neural Networks},
author = {Xiao Zhang and Dongrui Wu},
journal= {arXiv preprint arXiv:2001.01072},
year = {2020}
}
备注
Int'l. Conf. on Learning Representations (ICLR), Addis Ababa, Ethiopia, April 2020