面向交通稳定性与权重收敛的半梯度 SARSA 路由

我们考虑动态路由在平行服务器上的交通控制问题，这种问题在交通、数据传输等各种工程系统中都有出现。我们提出了一种半梯度、基于策略的算法，用于学习近似最优路由策略。该算法使用通用的基函数和灵活的权重来近似跨越无界状态空间的值函数。因此，训练过程缺乏梯度的 Lipschitz 连续性、时序差分误差的有界性，以及对 ergodicity 的先验保证，这些是现有文献中强化学习理论标准前提。为此，我们结合了 Lyapunov 方法和常微分方程方法，联合刻画交通状态和近似权重的行为。我们的理论分析证明，训练方案保证交通状态稳定，并确保权重几乎必然收敛于近似最优解。我们还通过仿真实验表明，该算法在不显著近似误差的前提下，实现了显著快于基于神经网络的方法的收敛速度。