用于有效无监督环境设计的环境新颖性量化

无监督环境设计 (UED) 形式化了通过教师代理和学生代理之间的交互训练来实现自课程的过程。教师生成具有高学习潜力的新训练环境，从而为学生精选出具有适应性课程，以增强其处理未见情景的能力。现有的 UED 方法主要依赖 regret——一种衡量代理最优性能与实际性能差异的指标——以指导课程设计。regret 驱动的方法会生成逐渐增加环境复杂度的课程，但忽视了环境新颖性——这一对于增强代理通用性至关重要的元素。衡量环境新颖性尤其具有挑战性，因为 UED 中的环境参数缺乏明确性，现有方法面临显著局限性。为此，本文引入 Coverage-based Evaluation of Novelty In Environment (CENIE) 框架。CENIE 提出了一种基于教师代理在先前课程经验中从状态-动作空间获得的覆盖率，对环境新颖性进行可扩展、通用且课程感知的量化。我们 then 提出了一种 CENIE 的实现方案，该实现模型化了这种覆盖率，并使用高斯混合模型测量环境新颖性。通过将 regret 和 new颖性作为课程设计的互补目标集成进 CENIE，能够在逐渐增加课程复杂度的同时，有效地跨越状态-动作空间进行探索。实证评估表明， 将 CENIE 增强的现有 regret-based UED 算法在多个基准测试中实现了最先进的性能，凸显了基于 new颖性的自课程在实现稳健通用性方面的有效性。