面向基于图像强化学习中以控制为中心的表征
机器学习
2023-10-30 v2
摘要
基于图像的强化学习是一项实用且具有挑战性的任务。一个主要障碍在于提取以控制为中心的表征，同时忽略无关信息。遵循互模拟原则的方法展现出通过学习状态表征来解决该问题的潜力，但它们仍受限于潜动态的表达能力有限以及对稀疏奖励环境的不适应性。为应对这些局限，我们提出 ReBis，旨在通过整合无奖励控制信息与奖励特定知识来捕获以控制为中心的信息。ReBis 利用 transformer 架构隐式建模动态，并引入块级掩码以消除时空冗余。此外，ReBis 将基于互模拟的损失与非对称重建损失相结合，以防止在稀疏奖励环境中出现特征崩溃。在包括 Atari 游戏和 DeepMind Control Suit 的两个大型基准上的实证研究表明，ReBis 相比现有方法具有更优性能，证明了其有效性。
引用
@article{arxiv.2310.16655,
title = {Towards Control-Centric Representations in Reinforcement Learning from Images},
author = {Chen Liu and Hongyu Zang and Xin Li and Yong Heng and Yifei Wang and Zhen Fang and Yisen Wang and Mingzhong Wang},
journal= {arXiv preprint arXiv:2310.16655},
year = {2023}
}