面向能效的联邦深度强化学习：多功能RIS辅助低轨道网络
机器学习
2025-11-18 v1 人工智能
信号处理
摘要
本文提出了一种新型网络架构，将多功能可重构智能表面（MF-RIS）部署在低轨道（LEO）上。与传统仅具备信号反射功能的RIS不同，MF-RIS可以反射、折射、放大信号，同时从无线信号中收集能量。鉴于阴影区域内能源需求高且太阳能不可用的限制，部署MF-RIS于LEO以增强信号覆盖并提高能源效率（EE）。为此，我们构建了长期能源效率优化问题，确定MF-RIS配置的最优参数，包括放大和相移、能源收集比率以及LEO发射波束成形。为解决复杂的非凸非线性问题，设计了基于联邦学习的多智能体深度确定性政策梯度（FEMAD）方案。各智能体的多智能体DDPG可通过与环境的交互提供最优动作政策，而联邦学习则实现多智能体之间的隐藏信息交换。数值结果表明，与其他基准方法（包括集中式深度强化学习以及分布式多智能体深度确定性政策梯度（DDPG））相比，本文提出的方法在能源效率方面实现了显著提升。此外，所提出的LEO-MF-RIS架构也证明其有效性，相较于固定/无能源收集MF-RIS、传统仅反射RIS以及无RIS/MF-RIS的部署场景，达到了最高的能源效率性能。
引用
@article{arxiv.2501.11079,
title = {Federated Deep Reinforcement Learning for Energy Efficient Multi-Functional RIS-Assisted Low-Earth Orbit Networks},
author = {Li-Hsiang Shen and Jyun-Jhe Huang and Kai-Ten Feng and Lie-Liang Yang and Jen-Ming Wu},
journal= {arXiv preprint arXiv:2501.11079},
year = {2025}
}