基于 LLM 自动化的联邦学习 Web 解决方案
机器学习
2024-08-26 v1 应用统计
摘要
联邦学习 (FL) 提供了一种跨分布式设备进行协同机器学习的有前景的方法。然而，其采用受限于构建可靠通信架构的复杂性，以及需要机器学习和网络编程双方 expertise 的不足。本文提出了一套全面的解决方案，通过简化 FL 任务的编排并集成意图基自动化来克服这些挑战。我们开发了一个用户友好的 Web 应用程序，支持联邦平均 (FedAvg) 算法，用户可通过直观界面配置参数。后端解决方案高效地管理参数服务器与边缘节点之间的通信。我们还实现了模型压缩和调度算法以优化 FL 性能。此外，我们探索了基于意图的 FL 自动化，使用在量身定制数据集上微调的语言模型 (LLM)，允许用户使用高级提示词完成 FL 任务。我们观察到，基于 LLM 的自动化解决方案在实现可 comparable 测试准确率的同时，将 FL 任务的传输字节数降低最高可达 64%，CPU 时间降低最高可达 46%。我们还利用神经网络结构搜索 (NAS) 和超参数优化 (HPO) 使用 LLM 来提高性能。我们观察到，通过采用这种方法， carried out FL 任务的测试准确率可提高 10-20%。
引用
@article{arxiv.2408.13010,
title = {A Web-Based Solution for Federated Learning with LLM-Based Automation},
author = {Chamith Mawela and Chaouki Ben Issaid and Mehdi Bennis},
journal= {arXiv preprint arXiv:2408.13010},
year = {2024}
}