自组织民主化学习：面向大规模分布式学习系统
机器学习
2022-04-29 v3 机器学习
摘要
新兴的跨设备人工智能（AI）应用要求从传统的集中式学习系统转向能够协作执行复杂学习任务的大规模分布式 AI 系统。对此，民主化学习（Dem-AI）提出了一种整体哲学及构建大规模分布式与民主化机器学习系统的底层原则。所概述的原则旨在研究分布式学习系统中的一种推广，其超越了联邦学习等现有机制。此外，此类学习系统依赖于连接良好的分布式学习智能体的层次化自组织，这些智能体拥有有限且高度个性化的数据，并能够基于专门化与泛化过程的潜在对偶性进行演化与自我调节。受 Dem-AI 哲学启发，本文提出一种新颖的分布式学习方法。该方法由基于凝聚聚类的自组织层次化结构机制、层次化泛化及相应的学习机制组成。随后，我们以递归形式表述层次化泛化学习问题，并证明可利用分布式个性化学习问题的解与层次化更新机制近似求解。为此，提出一种分布式学习算法，即 DemLearn。在基准 MNIST、Fashion-MNIST、FE-MNIST 和 CIFAR-10 数据集上的大量实验表明，与常规 FL 算法相比，所提算法在智能体学习模型的泛化性能上表现出更优结果。详细分析为进一步兼顾 Dem-AI 系统中学习模型的泛化与专门化性能提供了有益见解。
引用
@article{arxiv.2007.03278,
title = {Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems},
author = {Minh N. H. Nguyen and Shashi Raj Pandey and Tri Nguyen Dang and Eui-Nam Huh and Nguyen H. Tran and Walid Saad and Choong Seon Hong},
journal= {arXiv preprint arXiv:2007.03278},
year = {2022}
}