多通道胶囊网络（MLCN）的效率与可扩展性
计算机视觉与模式识别
2019-08-13 v1 分布式、并行与集群计算
机器学习
摘要
某些深度神经网络（DNN）具有我们所说的通道，或者可以被重组为这种形式。通道是网络中与数据无关的路径，通常用于学习不同的特征或增强网络的弹性。鉴于其与数据无关的特性，通道适合进行并行处理。多通道 CapsNet（MLCN）是对胶囊网络的一种拟议重组，已证明在实现高度并行通道的同时能获得更好的准确率。然而，MLCN 的效率和可扩展性尚未得到系统性检验。在这项工作中，我们使用多个 GPU 对 MLCN 网络进行了研究，发现在使用模型并行性时，其效率是原始 CapsNet 的 2 倍。此外，我们提出了在同质或异构加速器中分配异构通道的负载均衡问题，并表明一种简单的贪心启发式方法可以比朴素的随机方法快近 50%。
引用
@article{arxiv.1908.03935,
title = {Efficiency and Scalability of Multi-Lane Capsule Networks (MLCN)},
author = {Vanderson M. do Rosario and Mauricio Breternitz and Edson Borin},
journal= {arXiv preprint arXiv:1908.03935},
year = {2019}
}