通过技能多样性利用近似符号模型进行强化学习
人工智能
2022-06-22 v3
摘要
构建能够接受并利用来自人类特定任务知识的强化学习（RL）智能体，长期以来被视为开发可扩展方法以解决长视野问题的可能策略。尽管先前工作探讨了将符号模型与RL方法结合的可能性，它们往往假设高层动作模型可在低层执行，且流（fluent）能唯一刻画所有期望的MDP状态。然而，真实世界任务的符号模型常是不完整的。为此，我们引入近似符号模型引导的强化学习，其中我们将形式化符号模型与底层MDP之间的关系，以使我们能刻画符号模型的不完整性。我们将利用这些模型提取用于任务分解的高层路标（landmark）。在低层，我们为路标所标识的每个可能任务子目标学习一组多样性策略，随后将其拼接。我们在三个不同基准域上测试评估系统，并展示了即便在符号模型信息不完整时，我们的方法也能发现任务结构并高效引导RL智能体朝向目标。
引用
@article{arxiv.2202.02886,
title = {Leveraging Approximate Symbolic Models for Reinforcement Learning via Skill Diversity},
author = {Lin Guan and Sarath Sreedharan and Subbarao Kambhampati},
journal= {arXiv preprint arXiv:2202.02886},
year = {2022}
}