异质学习智能体群体中的道德行为动力学

人们对 AI 系统安全性和对齐问题的日益关注，凸显了在人工智能体中嵌入道德能力的重要性：一种有前景的解决方案是利用从经验中学习，即强化学习。在多智能体（社会）环境中，个体学习智能体之间的相互作用可能会涌现出复杂的群体层面现象。许多现有研究依赖模拟的社会困境环境来研究独立学习智能体之间的相互作用；然而，它们往往忽略了实际智能体社会中可能存在的道德异质性。例如，在不同时间点，单个学习智能体可能会面对结果论者（即专注于随时间最大化结果）、基于规范者（即遵守特定规范）或基于美德者（即考虑不同美德的组合）等对手。目前尚不清楚这种群体中的道德异质性在多大程度上会影响智能体的共同演化。在本文中，我们研究了在社会困境设定下相互作用的道德异质群体的学习动力学。利用带有伙伴选择机制的迭代囚徒困境环境，我们调查了群体中多样化道德智能体的普遍程度如何影响个体智能体的学习行为以及涌现的群体层面结果。我们观察到了亲社会智能体与反社会智能体之间几种类型的非平凡相互作用，并发现某些类型的道德智能体能够引导自私智能体趋向更具合作性的行为。