通过环境塑造缓解负面副作用

在非结构化环境中运行的智能体常产生难以在设计时识别的负面副作用（NSE）。虽然智能体可从人类反馈中学习缓解这些副作用，但此类反馈通常代价高昂，且学习速率对智能体的状态表示敏感。我们考察人类除提供反馈外如何协助智能体，并利用其更广的知识范围来缓解 NSE 的影响。我们将此问题表述为具有解耦目标的人-智体团队。智能体优化其被分配的任务，其间其动作可能产生 NSE。人类通过微小的重新配置动作来塑造环境，从而缓解智能体副作用的影响，且不影响智能体完成其分配任务的能力。我们提出一种求解该问题的算法并分析其理论性质。通过人类受试实验，我们评估了用户执行微小环境修改以缓解 NSE 影响的意愿。对我们方法的经验评估表明，所提框架能成功缓解 NSE，且不影响智能体完成其分配任务的能力。