迈向因果信用分配

根据动作对未来结果的贡献适当地为其分配信用，是强化学习中一个长期存在的开放挑战。最常用的信用分配方法的假设在决策效果不能立即显现的任务中是不利的。此外，该方法只能评估智能体已选择的动作，使其效率极低。尽管如此，该领域尚未广泛采用替代方法。Hindsight Credit Assignment是一个有前景但未被探索的候选方法，旨在解决长期与反事实信用分配两方面的问题。在本论文中，我们对Hindsight Credit Assignment进行实证调研，以识别其主要优势与待改进的关键点。然后，我们将其应用于因子化状态表示，特别是基于环境因果结构的状态表示。在此设定下，我们提出了一种有效利用给定因果结构的Hindsight Credit Assignment变体。我们表明，我们的修改大幅减少了Hindsight Credit Assignment的工作量，使其更高效，并能在多种任务上超越基线信用分配方法。这为其他基于给定或习得因果结构的方法开辟了道路。