面向不完整信息下的移动人群感知联邦强化学习
机器学习
2026-05-05 v1 网络与互联网体系结构
摘要
移动人群感知 (MCS) 是一种分布式感知架构，利用现有移动单元 (MUs) 上的传感器执行感知任务。MCS 平台 (MCSP) 发布感知任务，MUs 在换取金钱的同时决定是否参与。MCS 系统是动态的：任务要求、MUs 的可用性以及其可用资源随时间变化。MUs 旨在找到高效的任务参与策略以最大化收入，而 MCSP 则致力于最大化完成的任务数。由于最优策略需要关于 MCS 系统的完美非因果信息，而这些信息在现实场景中不可得，主要挑战在于在不完整信息下为 MUs 找到高效的任务参与策略。为此，提出一种新型完全去中心化的联邦深度强化学习算法 FDRL-PPO。FDRL-PPO 使每个 MUs 能够基于其经验、可用资源和偏好学习自己的任务参与策略，而无需依赖关于 MCS 系统的完美非因果信息。为补充电量，MUs 依赖能源收集。因此，其可用能源随时间变化，导致可用性和碎片化学习经验的变化。为缓解这些挑战，该方法利用联邦学习，使 MUs 能够在不共享私有原始数据（如各自的经验）的情况下协同改进其模型。通过仅交换已学习的模型，MUs 在集体补偿个体局限性方面取得进展，找到更可扩展、更稳健、更高效的任务参与策略。在合成数据和真实世界数据集上的全面评估表明，FDRL-PPO 在任务完成率、任务完成公平性、能源消耗和冲突提案数量方面 consistently 优于基准算法。
引用
@article{arxiv.2605.02705,
title = {Federated Reinforcement Learning for Efficient Mobile Crowdsensing under Incomplete Information},
author = {Sumedh J. Dongare and Patrick Weber and Andrea Ortiz and Walid Saad and Oliver Hinz and Anja Klein},
journal= {arXiv preprint arXiv:2605.02705},
year = {2026}
}
备注
This work has been submitted to the IEEE for possible publication