基于深度强化学习的远程状态估计资源分配

远程状态估计中，传感器通过共享无线资源将其对分布式动态对象的测量值发送至远程估计器，这对于工业4.0的关键任务应用至关重要。现有关于远程估计系统动态无线资源分配的算法假设了过度简化的无线通信模型，且仅适用于小规模场景。本文中，我们考虑采用正交多址与非正交多址方案的实用无线模型下的远程估计系统。我们推导了远程估计系统可稳定的充分必要条件。这些条件由发射功率预算、信道统计特性以及对象参数描述。针对每种多址方案，我们将一个新颖的动态资源分配问题表述为决策问题，以实现最小总体长期平均估计均方误差。决策时同时考虑了估计质量与信道质量状态。我们系统地研究了不同多址方案下分别具有大型离散、离散-连续混合以及连续动作空间的问题。我们提出了新颖的动作空间压缩方法，并开发了先进的深度强化学习算法来求解这些问题。数值结果表明，我们的算法有效解决了资源分配问题，并比现有文献具有更好的可扩展性。