高效深度表示是否可学习？

许多深度学习理论表明，与浅层网络相比，深层网络表示给定函数所需的资源可大幅减少。但一个问题仍然存在：使用当前的深度学习技术能否学习到这些高效表示？在这项工作中，我们检验标准的深度学习方法是否确实能找到若干深度表示理论所假设的高效表示。具体而言，我们训练深度神经网络学习两个具有已知高效解的简单函数：奇偶校验函数与快速傅里叶变换。我们发现，基于梯度的优化下，深层网络学不到奇偶校验函数，除非初始化得非常接近手工编码的精确解。我们还发现，深层线性神经网络学不到快速傅里叶变换，即使在无限训练数据的最佳情形下，除非权重初始化得非常接近精确的手动编码解。我们的结果表明，并非组合函数类中的每个元素都能被深层网络高效学习，要理解哪些函数既能被高效表示又能被学习，还需进一步的限制条件。