群体行为克隆

在序列决策环境中，训练智能体的主要方法是强化学习（RL）和模仿学习（IL）。与依赖建模奖励函数的RL不同，IL利用专家演示，其中专家策略$\pi_e$（例如人类）提供期望行为。形式上，提供一个状态-动作对数据集$D$：$D = {(s, a = \pi_e(s))}$。IL中一种常见技术是行为克隆（BC），通过基于$D$的监督学习学习策略$\pi(s) = a$。通过使用$N$个独立训练的BC策略的集成$E = {\pi_i(s)}{1 \leq i \leq N}$，可以进一步提升性能。集成在给定状态$s$下的动作$a$是$N$个动作的聚合输出：$a = \frac{1}{N} \sum{i} \pi_i(s)$。本文解决动作差异增大这一问题——即$N$个预测动作之间的差异在训练数据中代表性不足的状态中不断增大。较大的动作差异可能导致次优的聚合动作。为解决此问题，我们提出了一种方法，在保留计算多样性的同时促进策略之间更大的一致性。该方法减少了动作差异，并确保集成保留其固有优势，如鲁棒性和多样化决策。我们在八个多样化环境中评估了我们的方法，结果表明动作差异显著降低，整体性能（以平均回合回报衡量）显著提升。