智能体-控制器表示：面向富含外生信息的严谨离线强化学习
机器学习
2023-08-15 v2 人工智能
计算机视觉与模式识别
机器人学
摘要
从丰富的基于像素的视觉观测空间中离线收集的数据学习控制智能体，对强化学习（RL）的实际应用至关重要。该设定下的一个主要挑战是存在难以建模且与控制智能体无关的输入信息。理论 RL 界通过外生信息的视角处理此问题，即观测中包含的任何与控制无关的信息。例如，机器人在繁忙街道中导航需忽略无关信息，如背景中行走的其他人、物体纹理或天空中的鸟。本文关注具有视觉细节外生信息的设定，并引入新的离线 RL 基准以提供研究该问题的能力。我们发现，当噪声为复杂且时间相关过程（这在实用中普遍）时，当代表示学习技术会在数据集上失效。为解决这些问题，我们提出使用多步逆模型（RL 理论界颇感兴趣的方法）来学习离线 RL 的智能体-控制器表示（ACRO）。尽管简单且无需奖励，我们从理论和实证上表明，该目标创建的表示大幅优于基线。
引用
@article{arxiv.2211.00164,
title = {Agent-Controller Representations: Principled Offline RL with Rich Exogenous Information},
author = {Riashat Islam and Manan Tomar and Alex Lamb and Yonathan Efroni and Hongyu Zang and Aniket Didolkar and Dipendra Misra and Xin Li and Harm van Seijen and Remi Tachet des Combes and John Langford},
journal= {arXiv preprint arXiv:2211.00164},
year = {2023}
}
备注
ICML 2023