基于可辨识分解的世界模型学习
机器学习
2023-06-28 v2
摘要
在高维、噪声和非平稳环境中，提取稳定且紧凑的环境表示对高效强化学习至关重要。此类环境中不同类别的信息共存——如何有效提取并解耦这些信息仍是一项挑战。本文中，我们提出IFactor，一个通用框架，基于潜在状态变量与动作和奖励的相互作用，对捕获RL系统内各方面信息的四类不同潜在状态变量进行建模。我们的分析建立了这些潜在变量的块级可辨识性，不仅提供稳定紧凑的表示，还揭示所有与奖励相关的因子对策略学习都十分重要。我们进一步提出一种实用方法，以可辨识块学习世界模型，确保去除冗余但保留用于策略优化的最小充分信息。在合成世界中的实验表明，我们的方法准确辨识了真实潜在变量，证实了我们的理论发现。此外，在DeepMind Control Suite和RoboDesk变体中的实验展示了我们的方法优于基线的性能。
引用
@article{arxiv.2306.06561,
title = {Learning World Models with Identifiable Factorization},
author = {Yu-Ren Liu and Biwei Huang and Zhengmao Zhu and Honglong Tian and Mingming Gong and Yang Yu and Kun Zhang},
journal= {arXiv preprint arXiv:2306.06561},
year = {2023}
}