期望资格迹

如何确定哪些状态与动作对某一结果负责的问题被称为信用分配问题，并且仍是强化学习与人工智能中的核心研究问题。资格迹能够高效地将信用分配给智能体经历的最近状态与动作序列，但不能分配给同样可能导致当前状态的相反事实序列。本工作中，我们引入期望资格迹。期望迹允许通过单次更新，去更新本可能先于当前状态的状态与动作，即便它们在此次并未如此。我们讨论了在时序差分学习中期望迹相对于经典（瞬时）迹何时提供益处，并展示有时可获得实质性改进。我们提供了一种通过类似于自举的机制在瞬时迹与期望迹之间平滑插值的方法，确保所得算法是 TD($\lambda$) 的严格推广。最后，我们讨论了可能的扩展及与相关思想（如后继特征）的联系。