树形架构学习优于卷积前馈网络
计算机视觉与模式识别
2023-01-31 v3
摘要
先进的深度学习架构由数十个全连接与卷积隐藏层组成，目前已扩展至数百层，却远未实现其生物学对应形态。其难以置信的生物学动态依赖于以非局部方式改变权重，由于输出单元与权重间的路径数量通常很大，需使用反向传播技术。本文受基于实验的树突树适应性启发，构建了一种三层树形架构，并应用于 CIFAR-10 数据库的离线与在线学习。所提架构优于五层卷积 LeNet 可达到的准确率。此外，该架构高度剪枝的树形反向传播方法——其中单一路径连接输出单元与权重——代表了一种高效的树突深度学习。
引用
@article{arxiv.2211.11378,
title = {Learning on tree architectures outperforms a convolutional feedforward network},
author = {Yuval Meir and Itamar Ben-Noam and Yarden Tzach and Shiri Hodassman and Ido Kanter},
journal= {arXiv preprint arXiv:2211.11378},
year = {2023}
}
备注
21 pages, 4 figures, 2 table