结合人类反馈学习与知识工程解决Minecraft中的分层任务
机器学习
2022-05-13 v2 人工智能
人机交互
摘要
现实世界中感兴趣的任务通常由人类可读描述粗略定义，且没有预定义的奖励信号，除非由人类设计者定义。相反，数据驱动的算法通常被设计用来解决特定的、狭义定义的任务，并以驱动智能体学习的性能指标为导向。本工作中，我们展示了在 2021 年 NeurIPS MineRL BASALT 挑战赛（Minecraft 中基于人类反馈的学习）中获得第一名并被评为最具人类特征智能体的方案，该挑战要求参与者利用人类数据解决仅由自然语言描述定义且无奖励函数的四个任务。我们的方法利用可用的人类演示数据训练用于导航的模仿学习策略，并利用额外人类反馈训练图像分类器。这些模块与估计的里程计地图结合，构成一个强大的状态机，旨在以自然的分层范式利用人类知识。我们将这种混合智能方法分别与端到端机器学习和纯工程方案进行比较，并由人类评估者进行评判。代码库可在 https://github.com/viniciusguigo/kairos_minerl_basalt 获取。
引用
@article{arxiv.2112.03482,
title = {Combining Learning from Human Feedback and Knowledge Engineering to Solve Hierarchical Tasks in Minecraft},
author = {Vinicius G. Goecks and Nicholas Waytowich and David Watkins-Valls and Bharat Prakash},
journal= {arXiv preprint arXiv:2112.03482},
year = {2022}
}
备注
Submitted to the AAAI 2022 Spring Symposium on Machine Learning and Knowledge Engineering for Hybrid Intelligence (AAAI-MAKE 2022)