面向城市系统的合作空地物流的层次化强化学习
计算机与社会
2026-02-16 v1
摘要
合作空地物流已然成为一种具有前景的物流范式，借助无人机（UAV）与地面载体的互补优势。然而，这种异构系统中的有效调度面临两个关键挑战：i）飞行与道路动力学之间的异构性，ii）由大规模车队中指数级决策变量引发的扩展瓶颈。为此，我们提出了 HRL4AG，即面向合作空地物流的层次化强化学习框架。具体而言，HRL4AG 采用高层管理者通过分解联合动作空间来解决扩展瓶颈问题，并采用特定于模式的 worker 来编码不同的飞行和道路动力学，以解决异构性问题。此外，设计了一种新型内部奖励机制，以指导层次化策略学习，解决稀疏奖励环境下的信用分配问题。在两个真实世界数据集和一个评估平台上的大量实验表明，HRL4AG 相较于最新基线方法显著优异，在提升送货成功率方面提升了最高可达26%，同时实现了计算效率的提升约80倍。
引用
@article{arxiv.2602.12913,
title = {Hierarchical Reinforcement Learning for Cooperative Air-Ground Delivery in Urban System},
author = {Songxin Lei and Chunming Ma and Haomin Wen and Yexin Li and Lizhenghe Chen and Qianyu Yang and Fugee Tsung and Lei Chen and Sijie Ruan and Yuxuan Liang},
journal= {arXiv preprint arXiv:2602.12913},
year = {2026}
}