基于深度确定性策略梯度最小化蜂窝 V2X 通信中的信息年龄

本文研究了蜂窝车联网（vehicle-to-everything，V2X）通信中最小化信息年龄（age of information，AoI）的问题。为车辆的安全信息提供最小 AoI 和高可靠性，采用了非正交多址接入（NOMA）。我们重新构建了一个涉及半双工收发器选择、广播覆盖优化、功率分配和资源块调度的资源分配问题。首先，为获得最优解，我们将该问题建模为混合整数非线性规划问题，并研究其 NP 难性质。NP 难的结果促使我们设计简单的求解方案。因此，我们将该问题建模为单智能体马尔可夫决策过程，利用深度-Q-网络（DQN）等指纹深度强化学习技术高效求解。然而，由于包含离散与连续优化决策的大型混合动作空间所带来的维度灾难，直接应用 DQN 并不容易。因此，为高效、简单且优雅地求解这一混合离散/连续问题，我们提出了一种分解技术：首先基于最先进的稳定室友匹配算法使用匹配算法求解离散子问题，然后基于深度确定性策略梯度（DDPG）的 DRL 算法求解连续子问题。我们通过蒙特卡洛仿真验证了所提方法，结果表明分解匹配与 DRL 算法成功最小化了 AoI，并相较于各种车速、发射功率或数据包大小下的最佳基准实现了近 66% 的性能增益。此外，我们证明了存在最优的广播覆盖值，使得学习算法在该值下提供最优 AoI。