面向危险环境中大规模无人机队的经验受限层次化联邦强化学习
机器学习
2026-05-05 v1
摘要
传统联邦学习假设更大的学习者参与度会提升训练性能，通过利用丰富且独立生成的本地数据实现这一点。然而，在危险环境中无人机(UAV)队伍的联邦强化学习(FRL)中，由于安全考量、能源限制和任务持续时间导致经验生成受到严格约束，这一假设可能不成立。本工作引入经验受限层次化联邦强化学习(EC-HFRL)，该框架中，集群作为联邦学习代理，多个集群内学习者作为平行学习资源，复用共享经验池。我们表明，增加参与度并不一定提升学习性能。相反，学习性能与经验复用策略以及集群内关键分析识别的梯度过渡经验的主导程度密切相关。特别是，小批量大小主要决定有效的重放暴露，而更高的集群内参与度会增加复用水平。实证结果表明，性能 regime 强烈与学习信号的结构相关，而非联邦聚合效应，这澄清了经验受限FRL中学习者参与度的有限和次要作用。
引用
@article{arxiv.2605.02165,
title = {Experience Constrained Hierarchical Federated Reinforcement Learning for Large-scale UAV Teams in Hazardous Environments},
author = {Qinwei Huang and Rui Zuo and Simon Khan and Qinru Qiu},
journal= {arXiv preprint arXiv:2605.02165},
year = {2026}
}
备注
Accepted by the International Joint Conference on Neural Networks (IJCNN 2026), part of WCCI 2026