ODRL: 面向非同态动力强化学习的基准
机器学习
2024-10-29 v1 人工智能
摘要
我们研究非同态动力强化学习（RL），其需要在具有动力学失配的不同领域间迁移策略。尽管业界致力于开发动力学感知算法，但由于缺乏标准基准，该领域的发展受到阻碍。为了弥补这一空白，我们引入了 ODRL，这是首个专为评估非同态动力 RL 方法而量身定制的基准。ODRL 包含四种实验设置，其中源域和目标域可以是在线或离线的，并提供了多样化的任务和广泛的动力学偏移范围，使其成为全面评估智能体对目标域适应能力的可靠平台。此外，ODRL 在统一框架中纳入了近期非同态动力 RL 算法，并针对不同设置引入了一些额外的基线，所有这些均以单文件方式实现。为了揭示现有方法的真实适应能力，我们进行了广泛的基准实验，结果表明没有任何方法能在各种动力学偏移中具有普遍优势。我们希望该基准能成为未来研究工作的基石。我们的代码公开于 https://github.com/OffDynamicsRL/off-dynamics-rl。
引用
@article{arxiv.2410.20750,
title = {ODRL: A Benchmark for Off-Dynamics Reinforcement Learning},
author = {Jiafei Lyu and Kang Xu and Jiacheng Xu and Mengbei Yan and Jingwen Yang and Zongzhang Zhang and Chenjia Bai and Zongqing Lu and Xiu Li},
journal= {arXiv preprint arXiv:2410.20750},
year = {2024}
}
备注
NeurIPS 2024 D&B Track