用于无线通信的 Decision Transformer：资源管理的新范式
信号处理
2024-10-15 v2 信息论
math.IT
摘要
随着下一代移动系统的演进，人工智能（AI）有望与无线通信深度融合，以实现多变环境下的资源管理。特别是，深度强化学习（DRL）是解决资源分配随机优化问题的重要工具。然而，一旦状态和动作空间发生变化，DRL 必须从头开始每个新的训练过程，导致样本效率低和泛化能力差。此外，每个 DRL 训练过程可能需要大量 epoch 才能收敛，这对于时间敏感的场景是不可接受的。本文采用一种替代的 AI 技术，即 Decision Transformer（DT），并提出了一种基于 DT 的无线资源管理自适应决策架构。该架构通过在云端构建预训练模型，然后在边缘端微调个性化模型进行创新。通过利用在离线数据集上学习到的 DT 模型的能力，与 DRL 相比，所提出的架构有望在不同状态和动作空间的新场景中，以少得多的训练 epoch 实现快速收敛并获得更高的性能。随后，我们针对两种典型通信场景设计了 DT 框架：智能反射面辅助通信和无人机辅助移动边缘计算。仿真表明，与经典的 DRL 方法（即近端策略优化）相比，所提出的 DT 框架在收敛速度上实现了 - 倍的提升，并且性能更优。
引用
@article{arxiv.2404.05199,
title = {Decision Transformers for Wireless Communications: A New Paradigm of Resource Management},
author = {Jie Zhang and Jun Li and Long Shi and Zhe Wang and Shi Jin and Wen Chen and H. Vincent Poor},
journal= {arXiv preprint arXiv:2404.05199},
year = {2024}
}