提示迁移：基于提示学习的交通信号控制仿真到现实迁移

针对交通信号控制（TSC）任务，已有大量方案被提出，旨在提供高效运输并缓解拥堵浪费。近来，强化学习（RL）方法通过在模拟器中试错取得了可喜结果，为解决城市拥堵难题带来信心。然而，当模拟器训练的策略部署到真实世界时，仍存在性能差距。该问题主要由训练模拟器与真实环境之间的系统动态差异引起。大语言模型（LLMs）在海量知识上训练，并被证明具备惊人的推理能力。本工作中，我们利用 LLMs 通过基于提示的接地动作变换来理解和刻画系统动态。接受完形填空提示模板，并基于可获取的上下文填写答案，预训练 LLM 的推理能力被发掘并用于理解天气条件、交通状态和道路类型如何影响交通动态；意识到这一点后，策略的动作基于真实动态被采取并接地，从而帮助智能体学习更真实的策略。我们使用 DQN 进行实验，以展示所提出的 PromptGAT 在缓解从仿真到现实（sim-to-real）性能差距方面的有效性。