通过InfoMax终止评判器学习多样化选项
机器学习
2023-06-01 v2 人工智能
摘要
我们考虑在强化学习中自主学习任务可复用的时序扩展动作（即选项）的问题。尽管选项可作为可复用构建块加速迁移学习，为未知任务分布学习可复用选项仍具挑战性。受近期基于互信息（MI）的技能学习成功启发，我们假设更多样化的选项具有更高可复用性。为此，我们提出一种通过最大化选项与对应状态转移间MI来学习选项终止条件的方法。我们通过梯度上升导出该MI最大化的可扩展近似，得到InfoMax终止评判器（IMTC）算法。我们的实验表明，IMTC在与内在选项学习方法结合时，无需外在奖励即可显著提升所学选项的多样性。此外，我们将所学选项迁移至各类任务以测试其可复用性，证实IMTC有助于快速适应，尤其在智能体需操控物体的复杂领域中。
引用
@article{arxiv.2010.02756,
title = {Learning Diverse Options via InfoMax Termination Critic},
author = {Yuji Kanagawa and Tomoyuki Kaneko},
journal= {arXiv preprint arXiv:2010.02756},
year = {2023}
}
备注
Rejected from ICLR 2022. See https://openreview.net/forum?id=UTTrevGchy for reviews