面向分层强化学习的 Wasserstein 多样性增强正则化器
机器学习
2023-08-03 v1 人工智能
摘要
分层强化学习组合不同层级中的子策略以完成复杂任务。不依赖领域知识的自动化子策略发现，是一种有前景的子策略生成方法。然而，由于缺乏对多样性的考虑或采用了弱正则化器，退化问题是现有方法难以应对的挑战。在本文中，我们提出了一种称为 Wasserstein 多样性增强正则化器（WDER）的新型任务无关正则化器，它通过最大化动作分布之间的 Wasserstein 距离来扩大子策略的多样性。所提出的 WDER 可轻松纳入现有方法的损失函数中以进一步提升其性能。实验结果表明，与先前工作相比，我们的 WDER 在不修改超参数的情况下提高了性能和样本效率，这表明了 WDER 的适用性与鲁棒性。
引用
@article{arxiv.2308.00989,
title = {Wasserstein Diversity-Enriched Regularizer for Hierarchical Reinforcement Learning},
author = {Haorui Li and Jiaqi Liang and Linjing Li and Daniel Zeng},
journal= {arXiv preprint arXiv:2308.00989},
year = {2023}
}