罗森布拉特第一定理与深度学习的简洁性
机器学习
2023-12-19 v1 人工智能
摘要
罗森布拉特关于浅层网络全能性的第一定理指出，如果训练集中没有不一致，基本感知机可以解决任何分类问题。明斯基和帕珀特考虑了具有神经输入限制的基本感知机：隐藏层每个神经元的有界连接数或相对较小的感受野直径。他们证明在这些约束下，基本感知机无法解决某些问题，例如输入图像的连通性或其中像素的奇偶性。在本注记中，我们展示了工作中的罗森布拉特第一定理，说明了基本感知机如何解决一个旅行迷宫问题的变体，并分析了该解的复杂度。我们还为同一问题构建了深度网络算法。它效率高得多。浅层网络在隐藏层使用指数级数量的神经元（罗森布拉特的 -elements），而深度网络只需二阶多项式复杂度即可。我们证明了对于同样的复杂问题，深度网络可以小得多，并揭示了该效应背后的启发式原理。
引用
@article{arxiv.2208.13778,
title = {Rosenblatt's first theorem and frugality of deep learning},
author = {A. N. Kirdin and S. V. Sidorov and N. Y. Zolotykh},
journal= {arXiv preprint arXiv:2208.13778},
year = {2023}
}