量化基于强化学习的交通信号控制中非平稳性的影响

在强化学习（RL）中，处理非平稳性是一项挑战。然而，诸如交通优化等某些领域天生非平稳。其成因与影响多种多样。特别地，在处理交通信号控制时，解决非平稳性至关重要，因为交通状况随时间变化且作为网络其他部分所采取交通控制决策的函数而变化。本文中，我们分析在由学习智能体建模的每个信号组成的交通信号网络中，不同来源非平稳性的影响。更确切地说，我们既研究智能体学习所处\textit{上下文}变化（例如其所经历流量的变化）的影响，也研究降低智能体对真实环境状态可观测性的影响。部分可观测性可能使不同（最优动作不同的）状态被交通信号智能体视为相同，这进而可能导致次优性能。我们表明，缺乏合适传感器以提供真实状态代表性观测，似乎比底层交通模式的变化对性能影响更剧烈。