为深度学习网络提供理论学习保证
机器学习
2017-11-29 v1
摘要
深度学习（DL）是涉及机器学习与数据科学方法时最常见的主题之一。关于 DL 明显存在两股动向：其一汇聚了力求超越文献中其他算法、常通过微小经验风险下降来赢得竞赛的研究者；其二则调查过拟合证据，质疑 DL 分类器的学习能力。受这两种对立观点推动，本文采用统计学习理论（SLT）研究深度神经网络（尤其是卷积神经网络）的收敛性。为得出理论结论，我们提出一种估计此类分类算法破碎系数的方法，为其可接受函数空间的复杂度（即算法偏置）提供下界。基于该估计量，我们推广了网络偏置的复杂度，进而从破碎系数及提供理论学习保证所需训练样本数的角度研究了 AlexNet 和 VGG16 架构。由我们的理论表述，我们给出了深度神经网络学习的必要条件，并指出另一问题：DL 基准可能严格受经验风险驱动，而忽视了算法偏置的复杂度。
引用
@article{arxiv.1711.10292,
title = {Providing theoretical learning guarantees to Deep Learning Networks},
author = {Rodrigo Fernandes de Mello and Martha Dais Ferreira and Moacir Antonelli Ponti},
journal= {arXiv preprint arXiv:1711.10292},
year = {2017}
}
备注
Submitted to JMLR