前馈全连接深度网络的信息论下界

本文利用信息论工具，研究了用于二分类的前馈全连接神经网络在参数精确恢复和正超额风险方面的样本复杂度下界。我们通过一个由反向数据生成过程刻画的产生式网络证明了这些下界，其中输入基于二值输出生成，网络由隐藏层的权重参数参数化。参数精确恢复的样本复杂度下界为 $\Omega(d r \log(r) + p )$，正超额风险的为 $\Omega(r \log(r) + p )$，其中 $p$ 为输入维度，$r$ 反映权重矩阵的秩，$d$ 为隐藏层数量。据我们所知，我们的结果是首个信息论下界。