最大值与拼接网络
机器学习
2020-07-10 v1 机器学习
摘要
尽管深度神经网络（DNN）在许多领域取得了成功，但仍然面临一些开放性问题，如糟糕的局部极小值和不尽如人意的泛化性能。在本工作中，我们提出了一种名为最大值与拼接网络（MCN）的新架构，试图消除糟糕的局部极小值并提升泛化能力。值得注意的是，我们证明了 MCN 具有一个非常好的特性，即 \emph{ 层 MCN 的每个局部极小值都可以优于、或至少等同于由其前 层组成的网络的全局极小值}。换言之，通过增加网络深度，MCN 能够自主提升其局部极小值的优良程度，更重要的是，\emph{很容易将 MCN 插入现有的深度模型中，使其也具备这一特性}。最后，在温和条件下，我们证明了 MCN 能够以 \emph{高效率} 任意好地逼近某些连续函数；即 MCN 的覆盖数远小于大多数现有的 DNN（如深度 ReLU）。基于此，我们进一步提供了一个紧致的泛化界限，以保证 MCN 在处理测试样本时的推断能力。
引用
@article{arxiv.2007.04630,
title = {Maximum-and-Concatenation Networks},
author = {Xingyu Xie and Hao Kong and Jianlong Wu and Wayne Zhang and Guangcan Liu and Zhouchen Lin},
journal= {arXiv preprint arXiv:2007.04630},
year = {2020}
}
备注
Accepted by ICML2020