云与物联网间的分层地理分布式计算

在本文中，我们提出一种用于深度学习系统的新颖架构，称为 k 度分层网络，以实现云与物联网（IoT）之间高效的地理分布式计算。地理分布式计算将云扩展到物联网邻近处的网络地理边缘。该提案的基本思想包括 k 度约束与分层约束。k 度约束定义为第 h 层上每个顶点的度恰好为 k(h)，以扩展现有深度信念网络并控制通信代价。分层约束定义为各层度数在正方向上单调递减，以逐步降低数据维度。我们证明 k 度分层网络是稀疏的，而典型的深度神经网络是稠密的。在 M 分布式 MNIST 数据库上的评估中，该提案在通信代价与学习时长方面优于最先进模型且具有可扩展性。