去噪 MDP：学得比世界本身更好的世界模型
机器学习
2023-04-10 v6
摘要
从噪声中分离信号并基于干净抽象进行推理，是智能的关键能力。凭借这一能力，人类能够高效执行现实任务，而无需考量所有可能的干扰因素。人工智能体如何做到同样的事？智能体可以安全地将哪些信息丢弃为噪声？本工作中，我们基于可控制性与和奖励的关系，将外界信息划分为四类，并将有用信息形式化为既可控制又与奖励相关的信息。该框架厘清了强化学习（RL）中各类表征学习先前工作所去除的信息种类，并导向我们提出的学习去噪 MDP 的方法，其显式地分解出某些噪声干扰项。在 DeepMind Control Suite 与 RoboDesk 的多个变体上的大量实验表明，相较于仅使用原始观测及先前工作，我们的去噪世界模型在策略优化控制任务以及关节位置回归这一非控制任务上均展现出更优性能。
引用
@article{arxiv.2206.15477,
title = {Denoised MDPs: Learning World Models Better Than the World Itself},
author = {Tongzhou Wang and Simon S. Du and Antonio Torralba and Phillip Isola and Amy Zhang and Yuandong Tian},
journal= {arXiv preprint arXiv:2206.15477},
year = {2023}
}
备注
Project page: https://ssnl.github.io/denoised_mdp/ Code: https://github.com/facebookresearch/denoised_mdp