利用动作建议改进 Minecraft 中的深度强化学习
机器学习
2019-08-06 v1 人工智能
机器学习
摘要
在3D虚拟环境中训练深度强化学习智能体的复杂行为需要大量计算资源。在具有高度混叠(aliasing)的环境中尤其如此，其中许多状态共享几乎相同的视觉特征。Minecraft即是此类环境的一个典型。我们假设交互式机器学习(IML)（人类教师通过演示、批评或动作建议在训练中直接发挥作用）可减轻智能体对混叠的敏感性。然而，交互式机器学习仅在人类交互次数有限时才切实可行，需要在人类教师付出与智能体性能之间取得平衡。我们使用两种能使人类教师给出动作建议的强化学习算法（反馈仲裁与牛顿式动作建议）在视觉混叠条件下进行实验。为评估每类建议的潜在认知负荷，我们改变各种人类动作建议技术的准确率与频率。考察了训练效率、对不频繁且不准确的建议者输入的鲁棒性，以及对混叠的敏感性。
引用
@article{arxiv.1908.01007,
title = {Improving Deep Reinforcement Learning in Minecraft with Action Advice},
author = {Spencer Frazier and Mark Riedl},
journal= {arXiv preprint arXiv:1908.01007},
year = {2019}
}