通过客户端模型部分训练与基于熵的数据选择实现工作负载减少的联邦学习
机器学习
2025-01-03 v1 人工智能
分布式、并行与集群计算
摘要
随着物联网设备等边缘设备的快速扩展，这些设备生成了机器学习应用所需的关键数据，因此促进它们参与隐私保护的联邦学习系统变得至关重要。实现这一目标的最佳方式是通过减少其训练工作负载以匹配其有限的计算资源。虽然先前的联邦学习研究通过引入边缘轻量级模型来解决工作负载限制，但通过减少训练过程中所需数据量来优化设备端训练效率的关注有限。在这项工作中，我们提出了FedFT-EDS，一种结合客户端模型部分微调与基于熵的数据选择的新方法，以减少边缘设备上的训练工作负载。通过主动选择最具信息量的本地实例进行学习，FedFT-EDS显著减少了联邦学习中的训练数据，并表明并非所有用户数据在所有轮次中对联邦学习同样有益。我们在CIFAR-10和CIFAR-100上的实验表明，FedFT-EDS仅使用50%的用户数据，同时相比基线方法FedAvg和FedProx提升了全局模型性能。重要的是，FedFT-EDS将客户端学习效率提高了最多3倍，使用客户端三分之一的训练时间即可达到与基线相当的性能。这项工作强调了数据选择在联邦学习中的重要性，并为可扩展且高效的联邦学习提供了一条有前景的路径。
引用
@article{arxiv.2501.00170,
title = {Federated Learning with Workload Reduction through Partial Training of Client Models and Entropy-Based Data Selection},
author = {Hongrui Shi and Valentin Radu and Po Yang},
journal= {arXiv preprint arXiv:2501.00170},
year = {2025}
}