分段线性激活的深度神经网络普遍存在伪局部极小
机器学习
2021-03-01 v1
摘要
本文从理论上证明，对于具有分段线性激活函数且无法被线性模型拟合的数据集，深度全连接网络与卷积神经网络 (CNNs) 普遍存在伪局部极小。给出一个启发性例子以解释伪局部极小存在的原因：具有分段线性激活的深度全连接网络与 CNNs 的每个输出神经元产生连续分段线性 (CPWL) 输出，且在最小化经验风险时 CPWL 输出的不同片段可拟合互不相交的数据样本组。用不同 CPWL 函数拟合数据样本通常导致不同水平的经验风险，从而造成伪局部极小的普遍化。该结果在任意连续损失函数的一般设定下得到证明。主要证明技巧是将 CPWL 函数表示为对线性片段最小化的最大化。随后构造深度 ReLU 网络以产生这些线性片段并实现最大化与最小化操作。
引用
@article{arxiv.2102.13233,
title = {Spurious Local Minima Are Common for Deep Neural Networks with Piecewise Linear Activations},
author = {Bo Liu},
journal= {arXiv preprint arXiv:2102.13233},
year = {2021}
}