基于实际因果关系的道德强化学习

强化学习系统将在越来越大的程度上做出显著影响人类福祉的决策，因此这些系统做出的决策必须符合我们对道德良好行为的期望。道德良好通常以因果术语来定义，例如一个人的行为是否确实导致了特定结果，以及该结果是否可以被预见。我们提出了一种在线强化学习方法，该方法在智能体不应成为伤害原因的约束下学习策略。这是通过使用实际因果关系理论定义原因，并在智能体的行为是不良结果的实际原因时对其进行归责来实现的。我们在一个玩具伦理困境上进行了实验，在该困境中，奖励函数的自然选择会导致明显不良的行为，但我们的方法学习到了一种避免成为有害行为原因的策略，从而证明了我们方法的可靠性。允许智能体在学习的同时观察诸如归责等因果道德区分，为学习更符合我们道德判断的策略开辟了可能性。