基于公平性的便携式接入点节能三维路径规划：一种深度强化学习方法
信号处理
2022-08-11 v1 人工智能
机器学习
机器人学
摘要
在本工作中，我们优化基于无人机（UAV）的便携式接入点（PAP）的三维轨迹，该接入点为一组地面节点（GNs）提供无线服务。此外，根据 Peukert 效应，我们考虑无人机电池的实用非线性放电。因此，我们以新颖方式表述问题，表示基于公平性的能效度量的最大化，并命名为公平能效（FEE）。FEE 度量定义了一种同时重视每用户服务公平性与 PAP 能效的系统。所表述的问题呈现为具有不可处理约束的非凸问题形式。为获得解，我们将该问题表示为具有连续状态与动作空间的马尔可夫决策过程（MDP）。考虑到解空间的复杂性，我们使用双延迟深度确定性策略梯度（TD3） actor-critic 深度强化学习（DRL）框架来学习最大化系统 FEE 的策略。我们执行两类 RL 训练以展示方法有效性：第一类（离线）方法在训练阶段始终保持 GNs 位置不变；第二类方法通过在每个训练回合后改变 GNs 位置，将所学策略泛化到任意 GNs 布置。数值评估表明，忽略 Peukert 效应会高估 PAP 的空中时间，并可通过最优选择 PAP 飞行速度来解决。此外，通过在 GNs 上方高效移动 PAP，可改善用户公平性、能效以及因此的 FEE 值。据此，我们观察到相较于基线场景，在郊区、城市和密集城市环境中 FEE 分别有高达 88.31%、272.34% 和 318.13% 的巨大提升。
引用
@article{arxiv.2208.05265,
title = {Fairness Based Energy-Efficient 3D Path Planning of a Portable Access Point: A Deep Reinforcement Learning Approach},
author = {Nithin Babu and Igor Donevski and Alvaro Valcarce and Petar Popovski and Jimmy Jessen Nielsen and Constantinos B. Papadias},
journal= {arXiv preprint arXiv:2208.05265},
year = {2022}
}
备注
12 PAGES, 9 FIGURES