作为深度学习替代方案的高效浅层学习
机器学习
2023-04-21 v2 人工智能
计算机视觉与模式识别
摘要
复杂分类任务的实现需要训练由数十甚至数百个卷积与全连接隐藏层组成的深度学习（DL）架构，这远非人脑之现实。依据深度学习之原理，首卷积层揭示输入中的局部化模式，后续层揭示大尺度模式，直至可靠地表征某类输入。此处我们证明，在首卷积层与第二卷积层深度之比固定的情况下，仅由五层构成的广义浅层 LeNet 架构的误差率随首卷积层滤波器数量呈幂律衰减。该幂律之外推表明，广义 LeNet 可达到此前针对 CIFAR-10 数据库使用 DL 架构所获之小误差率。具有相似指数的幂律亦刻画广义 VGG-16 架构。然而，相较于 LeNet，这导致为达到给定误差率所需操作数显著增加。此幂律现象支配各类广义 LeNet 与 VGG-16 架构，暗示其普适性行为，并提示机器学习架构间存在定量的层次化时空复杂度。此外，沿卷积层的守恒律——即其尺寸平方根乘以其深度——被发现有渐近最小化误差率之效。本研究所示之高效浅层学习，呼吁借助各类数据库与架构作进一步定量考察，并借未来专用硬件发展予以加速实现。
引用
@article{arxiv.2211.11106,
title = {Efficient shallow learning as an alternative to deep learning},
author = {Yuval Meir and Ofek Tevet and Yarden Tzach and Shiri Hodassman and Ronit D. Gross and Ido Kanter},
journal= {arXiv preprint arXiv:2211.11106},
year = {2023}
}
备注
26 pages, 4 figures (improved figures resolution)