联邦学习与多任务学习中的能量与通信效率权衡
机器学习
2022-12-23 v1 分布式、并行与集群计算
摘要
联邦学习(FL)的最新进展为利用联网设备间的协作来设计同时求解多个学习任务的新策略铺平了道路。多任务学习(MTL)利用任务间相关的共性,相比传统迁移学习方法提高了效率。通过联合学习多个任务,可以显著减少能量消耗。本文首次考察了由模型无关元学习(MAML)范式驱动并在分布式无线网络中实现的MTL过程的能量代价。论文针对一个聚类多任务网络设置,其中自主智能体学习不同但相关的任务。MTL过程分两个阶段进行:优化可快速适配以学习新任务的元模型,以及任务特定模型适配阶段,即将学到的元模型迁移至智能体并针对特定任务进行定制。本工作通过考虑机器人化环境中的多任务强化学习(RL)设置,分析了影响MTL能量平衡的主要因素。结果表明,与传统无归纳迁移的方法相比,MAML方法可将能量开销降低至少2倍。此外,研究表明无线网络中最优能量平衡取决于上行/下行和侧链通信效率。
引用
@article{arxiv.2212.01049,
title = {On the Energy and Communication Efficiency Tradeoffs in Federated and Multi-Task Learning},
author = {Stefano Savazzi and Vittorio Rampa and Sanaz Kianoush and Mehdi Bennis},
journal= {arXiv preprint arXiv:2212.01049},
year = {2022}
}
备注
Proceedings of IEEE International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC), 2022