NovGrid：用于评估智能体对新奇性响应的灵活网格世界

已开发出大量鲁棒的强化学习技术以解决复杂序贯决策问题。然而，这些方法假设训练与评估任务来自相似或相同的分布环境。该假设在现实中不成立，因为环境微小的新奇变化就可使先前学到的策略失效，或引入可能永远无法被发现的最简解。为此，我们探究“新奇性”（novelty）概念，本文将其定义为环境机制或属性的突然改变。我们提供了与序贯决策最相关的新奇性本体，区分影响对象 versus 动作、一元属性 versus 非一元关系、以及任务解分布的新奇性。我们引入NovGrid，一个构建于MiniGrid之上的新奇性生成框架，作为快速开发与评估具备新奇性适应能力的强化学习技术的工具包。除核心NovGrid外，我们提供契合本体的示例新奇性，并将其实例化为可应用于众多MiniGrid兼容环境的新奇性模板。最后，我们提出框架内建的一组用于评估具备新奇性适应能力的机器学习技术的指标，并利用这些指标展示了一个基线RL模型的特征。