用于适应开放世界新奇性的神经符号世界模型

开放世界新奇性——环境机制或属性的突然变化——在现实世界中十分常见。新奇性适应是指智能体在新奇性发生后提升其策略表现的能力。大多数强化学习（RL）方法假设世界是一个封闭的、固定的过程。因此，RL策略对新奇性的适应效率低下。为此，我们提出WorldCloner，一种端到端可训练的神经符号世界模型，用于快速适应新奇性。WorldCloner学习新奇性前环境转移的高效符号表示，并利用该转移模型以单次方式检测新奇性并高效适应。此外，WorldCloner通过基于想象的适应来增强策略学习过程，即世界模型模拟新奇性后环境的转移以帮助策略适应。通过将“想象”转移与新奇性后环境中的交互相混合，可用更少的总环境交互恢复性能。利用为研究序贯决策问题中的新奇性而设计的环境，我们表明该符号世界模型比基于模型的以及仅基于神经网络的模型强化学习方法更能帮助其神经策略高效适应。