RHFedMTL：资源感知的分层联邦多任务学习
网络与互联网体系结构
2023-06-02 v1 机器学习
摘要
人工智能（AI）在包括蜂窝网络物联网在内的海量应用中的快速发展，引发了隐私、异构性与资源效率等技术挑战。联邦学习是一种能在保障安全的前提下赋能海量分布式节点 AI 的有效途径。然而，传统工作多聚焦于为全网唯一任务学习单一全局模型，通常难以以可接受的计算与通信代价处理含掉队者的多任务学习（MTL）场景。同时，在多个基站（BS）与终端间确保隐私的同时维持耦合的多任务学习颇具挑战。本文受蜂窝网络天然的云-基站-终端层次结构启发，提出了一种可行的资源感知分层联邦多任务学习（RHFedMTL）方案，以在基站内求解不同任务、在云端聚合多任务结果且不泄露隐私的方式应对任务异构性。具体而言，我们利用原对偶方法将耦合的 MTL 有效转化为基站内若干局部优化子问题。此外，相较于现有通过简单改变聚合频率来降低资源消耗的方法，我们深入剖析资源消耗与学习精度间的复杂关系，并为本地终端与基站开发了满足资源预算的资源感知学习策略。大量仿真结果证明了 RHFedMTL 在提升学习精度与加快收敛速度方面的有效性与优越性。
引用
@article{arxiv.2306.00675,
title = {RHFedMTL: Resource-Aware Hierarchical Federated Multi-Task Learning},
author = {Xingfu Yi and Rongpeng Li and Chenghui Peng and Fei Wang and Jianjun Wu and Zhifeng Zhao},
journal= {arXiv preprint arXiv:2306.00675},
year = {2023}
}
备注
11 pages, 8 figures