面向自主智能体的价值工程
人工智能
2023-02-20 v1 多智能体系统
摘要
机器伦理（ME）关注人工道德智能体（AMA）的设计，即能够依据道德价值进行推理和行为的自主智能体。以往的方法将价值视为与某些动作或世界状态相关联的标签，而非智能体推理的组成部分。人们也常忽视价值引导的智能体与环境中其他价值引导的智能体一同在规范约束下运行，从而遗漏了AMA的社会维度。在这篇蓝天空论文中，我们提出一种基于道德与社会心理学的新AMA范式，其中价值作为情境依赖目标被灌输给智能体。这些目标通过评估现行规范最激励的结果，将个体层面的价值与集体层面的规范精细地连接起来。我们认为，这种规范推理使智能体理解规范的道德意涵，从而带来自主智能体中的价值觉知。此外，该能力为智能体铺平了道路，使其通过将基于价值的规范推理与协议机制相结合，帮助智能体集体商定最适合其人类价值的最佳规范集，从而使其社会中所施行的规范与灌输的人类价值相对齐。总体而言，我们的智能体模型超越了将价值视为惰性标签的处理方式，将其与规范推理以及将价值觉知智能体整合进现代人机混合社会所需的社会功能相连接。
引用
@article{arxiv.2302.08759,
title = {Value Engineering for Autonomous Agents},
author = {Nieves Montes and Nardine Osman and Carles Sierra and Marija Slavkovik},
journal= {arXiv preprint arXiv:2302.08759},
year = {2023}
}