避免 Hinton 等人“基于 EM 路由的矩阵胶囊”的实现陷阱
机器学习
2019-07-02 v1 计算机视觉与模式识别
机器学习
摘要
Hinton 等人在胶囊网络方面的最新进展在机器学习社区引起了极大的关注。胶囊背后的想法受到大脑皮层微柱的启发，其中一组约 100 个垂直组织的神经元接收共同的输入，具有共同的输出，相互连接，并且很可能构成大脑皮层的基本计算单元。然而，Hinton 关于“基于 EM 路由的矩阵胶囊”的论文遗憾的是并未伴随源代码的发布，这使得感兴趣的研究人员不得不尝试自行实现该架构并复现基准测试。这无疑减缓了基于此项工作的研究进展。在编写我们自己的实现时，我们在所遇到的其他开源实现中注意到了几个常见错误。在本文中，我们分享了其中一些经验，特别关注三个实现陷阱以及如何避免它们：(1) 父胶囊仅有一个子胶囊；(2) 归一化分配给父胶囊的数据量；(3) 处于不同位置的父胶囊竞争子胶囊。尽管我们的实现相比当前可用的实现有相当大的改进，但仍略逊于 Hinton 等人 (2018) 报告的性能。该实现的源代码可在 GitHub 上获取，URL 为：https://github.com/IBM/matrix-capsules-with-em-routing。
引用
@article{arxiv.1907.00652,
title = {Avoiding Implementation Pitfalls of "Matrix Capsules with EM Routing" by Hinton et al},
author = {Ashley Daniel Gritzman},
journal= {arXiv preprint arXiv:1907.00652},
year = {2019}
}