从故事中习得规范：面向价值对齐智能体的先验

价值对齐是智能体的一种属性，表明其只能追求对人类有益的目标与活动。传统的价值对齐方法使用模仿学习或偏好学习，通过观察人类行为来推断其价值。我们引入一种互补技术，从编码社会规范的自然发生的故事中学习价值对齐先验。训练数据来源于儿童教育漫画连载《Goofus and Gallant》。本工作中，我们训练多个机器学习模型，通过识别情境是否与主角行为一致，将漫画中出现的自然语言情境描述分类为规范或非规范。我们还报告了模型在几乎不额外训练新任务的情况下迁移至两个不相关任务时的性能。