通过考虑未来任务避免副作用

设计奖励函数是困难的：设计者必须指定要做什么（完成任务的含义）以及不做什么（完成任务时应避免的副作用）。为减轻奖励设计者的负担，我们提出一种自动生成惩罚副作用的辅助奖励函数的算法。该辅助目标奖励完成可能的未来任务的能力，若智能体在当前任务中造成副作用则该能力降低。未来任务奖励也可能激励智能体干预环境中使未来任务更难达成的事件，例如其他智能体的不可逆动作。为避免此干预激励，我们引入代表默认行动过程（如什么都不做）的基线策略，并用其过滤掉默认情况下无法达成的未来任务。我们形式化定义干预激励，并证明带基线策略的未来任务方法在确定性情形下避免这些激励。使用测试副作用与干预的网格世界环境，我们表明该方法避免干预，且比惩罚不可逆动作的常见方法更有效地避免副作用。