一种实际有效的可证明正确的深度学习算法
机器学习
2018-06-26 v2 机器学习
摘要
我们描述了一种逐层训练深度卷积网络的算法，其中每一步都包含对两层网络的梯度更新，随后是一个简单的聚类算法。我们的算法源于一个逐层生成图像的深度生成模型，其中较低分辨率的图像对应于潜在的语义类别。在假设数据确实是根据该模型生成的（以及附加假设）的前提下，我们分析了算法的收敛速率。虽然我们不声称这些假设对自然图像来说是现实的，但我们确实相信它们捕获了真实数据的一些真实属性。此外，我们展示了我们的算法在实践中（在 CIFAR 数据集上）确实有效，取得了与由随机梯度下降训练的普通卷积神经网络相当的结果。最后，我们的证明技术可能具有独立的意义。
引用
@article{arxiv.1803.09522,
title = {A Provably Correct Algorithm for Deep Learning that Actually Works},
author = {Eran Malach and Shai Shalev-Shwartz},
journal= {arXiv preprint arXiv:1803.09522},
year = {2018}
}