一种用于无线通信网络中节能联邦学习的安全深度强化学习方法
机器学习
2024-03-06 v3 人工智能
摘要
随着人工智能(AI)赋能的无线网络迈向新时代,产业界与学术界均对AI的环境影响表示关切。联邦学习(FL)已成为一种关键的隐私保护去中心化AI技术。尽管当前在FL方面已有诸多努力,其环境影响仍是一个开放问题。为最小化FL过程的整体能耗,我们提出对参与设备的计算与通信资源进行编排,以最小化所需总能耗,同时保证模型的一定性能。为此,我们提出一种软 actor-critic 深度强化学习(DRL)方案,在训练过程中引入惩罚函数,对违背环境约束的策略进行惩罚,从而促进安全的RL过程。我们提出了一种设备级同步方法,以及一种计算代价较低的FL环境,旨在进一步降低能耗与通信开销。评估结果表明,在不同网络环境与FL架构下,所提方案相较于四种最先进的基线方案具有有效性与鲁棒性,总能耗最高降低94%。
引用
@article{arxiv.2308.10664,
title = {A Safe Deep Reinforcement Learning Approach for Energy Efficient Federated Learning in Wireless Communication Networks},
author = {Nikolaos Koursioumpas and Lina Magoula and Nikolaos Petropouleas and Alexandros-Ioannis Thanopoulos and Theodora Panagea and Nancy Alonistioti and M. A. Gutierrez-Estevez and Ramin Khalili},
journal= {arXiv preprint arXiv:2308.10664},
year = {2024}
}
备注
12 Pages Double Column, 6 Figures, Accepted for publication in the IEEE Transactions on Green Communications and Networking (TGCN). arXiv admin note: text overlap with arXiv:2306.14237