去中心化深度学习的全息结构：性能分析
机器学习
2019-04-23 v2 人工智能
机器学习
摘要
结构在学习性能中扮演关键角色。在集中式计算系统中，超参数优化与诸如dropout的正则化技术是通过调整深层层次结构提升学习性能的计算手段。然而，在物联网的去中心化深度学习中，结构实为自主互联设备（如智能手机）经由复杂网络协议交互的真实网络。学习结构的自适应是一大挑战。网络延迟、节点与链路故障甚至由有限处理能力与能量可用性导致的瓶颈等不确定性会显著降级学习性能。网络自组织与自管理复杂，同时需要额外计算与网络资源，阻碍去中心化深度学习的可行性。相比之下，本文引入一种基于全息学习结构的自适应学习方法，用于在含不确定性的分布式环境中探索、缓解并提升学习性能。使用来自智能电网与智慧城市试点项目的合成与真实数据馈入的864000次实验的大规模性能分析，证实了全息结构对去中心化深度学习的成本效益。
引用
@article{arxiv.1805.02686,
title = {Holarchic Structures for Decentralized Deep Learning - A Performance Analysis},
author = {Evangelos Pournaras and Srivatsan Yadhunathan and Ada Diaconescu},
journal= {arXiv preprint arXiv:1805.02686},
year = {2019}
}