基于模型的强化学习中用于无监督动力学泛化的关系干预方法

Jixian Guo; Mingming Gong; Dacheng Tao

基于模型的强化学习中用于无监督动力学泛化的关系干预方法

机器学习 2022-06-10 v1 人工智能机器人学

作者: Jixian Guo , Mingming Gong , Dacheng Tao

摘要

基于模型的强化学习（MBRL）方法向具有未知转移动力学的环境泛化是一个重要且具有挑战性的问题。现有方法试图从过去的转移片段中提取环境指定信息 $Z$ ，以使动力学预测模型可泛化到不同动力学。然而，由于环境未被标注，提取的信息不可避免地包含与转移片段中动力学无关的冗余信息，从而无法保持 $Z$ 的一个关键性质： $Z$ 在同一环境中应相似，在不同环境中应相异。结果，学到的动力学预测函数将偏离真实函数，损害泛化能力。为解决这个问题，我们引入一个干预式预测模块来估计两个估计的 $\hat{z}_i, \hat{z}_j$ 属于同一环境的概率。此外，利用 $Z$ 在单一环境中的不变性，提出一个关系头以强制来自同一环境的 $\hat{{Z}}$ 之间的相似性。因此， $\hat{Z}$ 中的冗余信息将被减少。我们通过实验表明，我们的方法估计的 $\hat{{Z}}$ 比先前方法具有更少的冗余信息，并且这样的 $\hat{{Z}}$ 能显著减少动力学预测误差并提升基于模型的RL方法在具有未知动力学的零样本新环境中的性能。该方法的代码可在\url{https://github.com/CR-Gjx/RIA}获取。

关键词

基于模型的强化学习动力学泛化无监督学习关系干预环境不变性零样本泛化

引用

@article{arxiv.2206.04551,
  title  = {A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning},
  author = {Jixian Guo and Mingming Gong and Dacheng Tao},
  journal= {arXiv preprint arXiv:2206.04551},
  year   = {2022}
}

备注

ICLR2022 accepted paper

基于模型的强化学习中用于无监督动力学泛化的关系干预方法

摘要

关键词

引用

备注

相关论文