深度网络对数据特征的实现

本文考虑深度神经网络（简称深度网络）在实现数据特征方面的能力。基于精细的覆盖数估计，我们发现，为实现某些复杂数据特征，深度网络可在不增加额外容量代价的情况下改善浅层神经网络（简称浅层网络）的性能。这验证了深度网络在实现复杂特征上的优势。另一方面，为实现某些如光滑性之类的简单数据特征，我们证明在深度固定时，除对数因子外，深度网络的逼近速率与浅层网络渐近相同。这展现了深度网络在实现简单特征上的局限。