Holonic学习：一种灵活的基于智能体的分布式机器学习框架
分布式、并行与集群计算
2024-01-22 v1 人工智能
机器学习
多智能体系统
摘要
过去十年中，数据和计算资源的日益普及推动了机器学习范式向更分布式方法的显著转变。这种转变不仅旨在解决可扩展性和资源分配挑战，还旨在解决紧迫的隐私和安全问题。为促进这一持续讨论，本文介绍了Holonic学习（HoL），一种专为训练深度学习模型而设计的协作且注重隐私的学习框架。通过利用holonic概念，HoL框架在学习过程中建立了一个结构化的自相似层次结构，通过每个holon的个体模型聚合方法以及其内部holon的承诺和通信模式，实现了对协作的更细致控制。HoL在其一般形式下提供了广泛的设计和灵活性潜力。为了进行实证分析并展示其有效性，本文实现了HoloAvg，这是HoL的一个特殊变体，它采用加权平均法对所有holon进行模型聚合。通过在标准MNIST数据集的IID和Non-IID设置上的实验验证了所提出方法的收敛性。此外，还研究了HoL在各种holarchy设计和数据分布场景下的性能表现。所呈现的结果证实了HoL在提供竞争性能方面的能力，特别是在Non-IID数据分布的情况下。
引用
@article{arxiv.2401.10839,
title = {Holonic Learning: A Flexible Agent-based Distributed Machine Learning Framework},
author = {Ahmad Esmaeili and Zahra Ghorrati and Eric T. Matson},
journal= {arXiv preprint arXiv:2401.10839},
year = {2024}
}