带折旧资产的强化学习

传统强化学习的一个基本假设是，奖励的价值一旦被智能体接收便不再改变。本研究放弃了这一假设，并考虑奖励的价值随其获取后流逝的时间成比例衰减的情形。强调支付时刻出现的拐点，我们使用“资产”一词来指代当前由智能体拥有的奖励。采用这一术语，我们在无限视界定量优化框架内开启了对折旧资产的研究。具体而言，受经典指数贴现启发，我们提出了一种资产折旧概念，其中资产的价值在智能体获取后的每个时间步均按固定贴现因子进行缩放。我们在此背景下构建了最优性的 Bellman 风格方程刻画，并开发了一种无模型强化学习方法以获取最优策略。