通过目标感知表征学习与自适应时域预测实现开放世界多任务控制
人工智能
2023-10-16 v3
摘要
我们研究在 Minecraft 中学习目标条件策略的问题，Minecraft 是一个流行、广泛可访问但具有挑战性的开放环境，用于开发类人多任务智能体。我们首先确定了学习此类策略的两个主要挑战：1）由于场景的极大多样性，从状态分布中无法区分任务；2）由部分可观测性引起的环境动力学的非平稳性质。为应对第一个挑战，我们提出用于策略的目标敏感骨干网络（GSB），以鼓励出现与目标相关的视觉状态表征。为应对第二个挑战，该策略进一步由一个自适应时域预测模块驱动，有助于缓解非平稳动力学带来的学习不确定性。在 20 个 Minecraft 任务上的实验表明，我们的方法显著优于迄今为止的最佳基线；在其中许多任务中，我们的性能翻倍。我们的消融和探索性研究随后解释了我们的方法如何击败同类方法，并揭示了在新场景（生物群系）上零样本泛化的意外红利。我们希望我们的智能体有助于为在像 Minecraft 这样具有挑战性的开放环境中学习目标条件多任务智能体提供一些启示。
引用
@article{arxiv.2301.10034,
title = {Open-World Multi-Task Control Through Goal-Aware Representation Learning and Adaptive Horizon Prediction},
author = {Shaofei Cai and Zihao Wang and Xiaojian Ma and Anji Liu and Yitao Liang},
journal= {arXiv preprint arXiv:2301.10034},
year = {2023}
}
备注
This paper is accepted by CVPR2023