利用分层强化学习学习与复杂界面的交互
机器学习
2022-04-25 v1
摘要
分层强化学习（HRL）允许交互智能体将复杂问题分解为子任务的层次结构。较高级别任务可将较低级别任务的求解作为原语动作调用。在这项工作中，我们研究了分层分解对于学习恰当方式与复杂界面交互的效用。具体而言，我们训练能够与模拟 Android 设备中的应用程序交互的 HRL 智能体。我们引入了一种分层分布式深度强化学习架构，其学习（1）对应于简单手指手势的子任务，以及（2）如何组合这些手势以解决若干 Android 任务。我们的方法依赖于目标条件化，且更一般地可用于将任何基础 RL 智能体转换为 HRL 智能体。我们使用 AndroidEnv 环境评估我们的方法。在实验中，HRL 智能体使用流行 DQN 算法的分布式版本来训练层次结构的不同组件。尽管原生动作空间对简单 DQN 智能体完全难以处理，我们的架构可用于建立与不同任务交互的有效方式，在不同抽象层级上显著提升了相同 DQN 智能体的性能。
引用
@article{arxiv.2204.10374,
title = {Learning how to Interact with a Complex Interface using Hierarchical Reinforcement Learning},
author = {Gheorghe Comanici and Amelia Glaese and Anita Gergely and Daniel Toyama and Zafarali Ahmed and Tyler Jackson and Philippe Hamel and Doina Precup},
journal= {arXiv preprint arXiv:2204.10374},
year = {2022}
}