关于广义绞接超平面表示能力的一个注记
机器学习
2021-01-28 v1 信息论
math.IT
机器学习
摘要
在本注记中，我们证明了用广义绞接超平面（GHH）的嵌套绝对值函数表示任意 CPWL 函数所需的嵌套层数的尖锐下界。先前上界表明 层嵌套足以使 GHH 获得通用表示能力，但相应的下界未知。我们证明通用表示能力需要 层嵌套，这给出了几乎紧的下界。我们还表明单隐藏层神经网络在整个定义域上不具备通用逼近能力。该分析基于一个关键引理：任何周期函数的有限和要么不可积，要么为零函数，这本身可能具有独立意义。
引用
@article{arxiv.2101.11286,
title = {A Note on the Representation Power of GHHs},
author = {Zhou Lu},
journal= {arXiv preprint arXiv:2101.11286},
year = {2021}
}