个体性的涌现

个体性在人类社会中至关重要，它引发劳动分工从而提高效率与生产力。类似地，它也应当是多智能体合作的关键。受个体性即作为独立于他人的个体这一概念的启发，我们提出一种简单而高效的方法，用于多智能体强化学习(MARL)中个体性的涌现(EOI)。EOI 学习一个概率分类器，给定智能体的观测预测其所属智能体的概率分布，并给每个智能体一个被分类器正确预测的内在奖励。该内在奖励鼓励智能体访问其自身熟悉的观测，而通过这些观测学习分类器使内在奖励信号更强、智能体更具可辨识性。为进一步增强内在奖励并促进个体性涌现，提出两个正则化项以提高分类器的可分辨性。我们在流行的 MARL 算法基础上实现 EOI。实验上，我们表明 EOI 在多种多智能体合作场景中显著优于现有方法。