软选项评论家
摘要
option-critic架构(Bacon, Harb, and Precup 2017)及其若干变体已成功展示了Sutton等人(Sutton, Precup, and Singh 1999)提出的选项框架在分层任务中学习与时序规划上的可扩展性。尽管这些框架大多使用熵作为正则化项以改善探索，它们并未在每一步同时最大化熵与回报。(Haarnoja et al., 2018d)近期在Soft Actor Critic一文中提出了一种离策略actor-critic算法，在以约束方式最大化熵的同时最大化回报，从而在连续与离散动作空间中实现鲁棒选项的学习。本文采用soft-actor critic的架构来研究在选项框架中最大化各选项及选项间策略熵的影响。我们推导了软选项改进定理，并提出了一种新颖的软选项框架，以约束方式将动作与选项熵的最大化纳入其中。实验表明，改进后的options-critic框架生成的鲁棒策略在环境受扰动时可快速恢复，并在多数分层任务中优于原始options-critic框架。
引用
@article{arxiv.1905.11222,
title = {Soft Options Critic},
author = {Elita Lobo and Scott Jordan},
journal= {arXiv preprint arXiv:1905.11222},
year = {2019}
}
备注
In the current version of the paper, there is an error in the definition of the value function, unintended text overlap in the environment description, and incomplete experimentation. These changes will take a significant amount of time to address. Thus, we are withdrawing the paper until these changes can be implemented