吉米尼蟋蟀会怎么做？——迈向行为道德的智能体

在做日常决策时，人们受到良心的指引，这是一种内在的是非感。相比之下，人工智能体目前尚未被赋予道德感。因此，当它们在忽视道德问题的环境（如暴力视频游戏）中训练时，可能会学习到不道德的行为。随着能够预训练于多种环境的通用智能体的出现，有必要减轻从教导不道德行为的环境中继承的偏见。为了促进避免造成肆意伤害的智能体的开发，我们引入了Jiminy Cricket，一个包含25个基于文本的冒险游戏的环境套件，其中有数千种多样化的、道德上显著的情景。通过标注每一个可能的游戏状态，Jiminy Cricket环境能够稳健地评估智能体是否能在最大化奖励的同时采取道德行为。利用具有常识道德知识的模型，我们创建了一个初级的人工良心来评估和引导智能体。在大量实验中，我们发现人工良心方法可以在不牺牲性能的情况下引导智能体走向道德行为。