基于时序逻辑任务规约的 missions 驱动探索加速深度强化学习
机器人学
2025-04-23 v2 人工智能
机器学习
摘要
本文研究为具有未知随机动力学且控制目标由线性时序逻辑（LTL）指定的智能体设计控制策略的问题。近期的深度强化学习（DRL）算法旨在计算最大化LTL公式满足概率的策略，但常面临学习速度慢的问题。为此，我们引入一种显著提升学习速度的新型深度Q学习算法。其更高的采样效率源于一种任务驱动探索策略，该策略优先朝可能促成任务成功的方向探索。识别这些方向依赖于LTL任务的自动机表示以及部分建模智能体-环境交互的神经网络。我们提供了对比实验，证明了我们的算法在未知环境机器人导航任务上的高效性。
引用
@article{arxiv.2311.17059,
title = {Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications},
author = {Jun Wang and Hosein Hasanbeig and Kaiyuan Tan and Zihe Sun and Yiannis Kantaros},
journal= {arXiv preprint arXiv:2311.17059},
year = {2025}
}