胶囊神经网络为何无法扩展：对动态解析树假设的质疑
计算机视觉与模式识别
2023-01-05 v1 人工智能
机器学习
摘要
胶囊神经网络用向量值胶囊取代了简单的标量神经元。其动机源于人脑的模式识别系统，其中复杂对象被分解为较简单对象部件的层次结构。这种层次结构被称为解析树。从概念上讲，胶囊神经网络被定义为实现此类解析树。Sabour、Frosst 和 Hinton 提出的胶囊神经网络（CapsNet）是胶囊神经网络概念思想的第一个实际实现。CapsNet 在简单图像识别任务上以比可比方法更少的参数和对仿射变换更强的鲁棒性取得了最先进的性能。这引发了广泛的后续研究。然而，尽管付出了巨大努力，尚无工作能够将 CapsNet 架构扩展到更合理规模的数据集。在此，我们为这一失败提供了原因，并论证 CapsNet 极有可能无法扩展到玩具示例之外。具体而言，我们表明作为胶囊神经网络主要思想的解析树概念在 CapsNets 中并不存在。我们还从理论和实验上表明，CapsNets 存在梯度消失问题，导致训练期间许多胶囊的饥饿。
引用
@article{arxiv.2301.01583,
title = {Why Capsule Neural Networks Do Not Scale: Challenging the Dynamic Parse-Tree Assumption},
author = {Matthias Mitterreiter and Marcel Koch and Joachim Giesen and Sören Laue},
journal= {arXiv preprint arXiv:2301.01583},
year = {2023}
}
备注
To appear in AAAI 2023