强化学习中时间离散化的一个独特现象

许多强化学习算法建立在智能体与环境在固定时长、离散时间步 interactions 上的假设之上。然而，物理系统是连续时间的，在数字控制时需要选择时间离散化的粒度。此外，这些系统在做出决策前不会等待，从而需要研究离散化选择如何影响强化学习算法。在本工作中，我们考察连续时间与离散时间回报之间的关系。具体地，我们认识到对离散化连续时间环境直接应用离散时间算法的一个独特现象，并指出一种简单修改可更好地对齐回报定义。这一观察在处理时间离散化粒度可选择或此类粒度本质上是随机的情形时具有实际意义。