GNN-DT：用于动态环境中高效优化的图神经网络增强决策变换器
机器学习
2025-09-29 v3 系统与控制
系统与控制
摘要
用于解决实际优化问题的强化学习(RL)方法常涉及动态状态-动作空间、更大规模以及稀疏奖励，这带来了显著的收敛性、可扩展性和有效探索解空间方面的挑战。本研究引入GNN-DT，一种新型决策变换器(DT)架构，将图神经网络(GNN)嵌入器与输入与输出标记之间的新型残差连接集成，后者对于处理动态环境至关重要。通过学习先前收集的轨迹，GNN-DT解决了在线RL算法面临的稀疏奖励限制，能够在实时内提供高质量解决方案。我们在复杂的电动汽车(EV)充电优化问题上对GNN-DT进行评估，证明其性能优于现有的DT和离线RL基线模型，所需训练轨迹数量显著减少，从而提高了样本效率。此外，GNN-DT对未见环境和更大动作空间具有稳健的泛化能力，弥补了现有离线和在线RL方法之间的关键差距。
引用
@article{arxiv.2502.01778,
title = {GNN-DT: Graph Neural Network Enhanced Decision Transformer for Efficient Optimization in Dynamic Environments},
author = {Stavros Orfanoudakis and Nanda Kishor Panda and Peter Palensky and Pedro P. Vergara},
journal= {arXiv preprint arXiv:2502.01778},
year = {2025}
}