基于单轨迹学习快速混合外生块MDP

为了训练能够快速适应新目标或奖励函数的智能体，在顺序决策环境中进行高效的无监督表示学习至关重要。Exogenous Block Markov Decision Process（Ex-BMDP）等框架已被提出来正式化化这种表示学习问题（Efroni等，2022b）。在Ex-BMDP框架下，智能体对环境的高维观察值包含两个潜在因素：一个受控因素，根据智能体的动作在小状态空间内确定性地演化，以及一个外生因素，代表时间相关的噪声，可具有高度复杂性。表示学习问题的目标是学习一个将观察值映射到受控潜在空间的编码器，以及该空间的动力学。Efroni等（2022b）证明了只要受控潜在空间的大小，即可实现这一点，而无需依赖噪声因素的规模。然而，该前期工作聚焦于episodic设置，即在有限时限后，受控潜在状态会重置为特定的起始状态。相比之下，如果智能体只能与环境进行单一连续轨迹互动，先前的工作尚未建立样本复杂度界限。我们提出了STEEL，即首个在函数逼近设置下，从单个轨迹学习Ex-BMDP可控动力学的可证明样本高效算法。STEEL的样本复杂度仅取决于受控潜在空间的大小、编码器函数类的大小，以及（最坏情况下线性）外生噪声因素的混合时间。我们证明了STEEL是正确且样本高效的，并在两个toy问题上进行了演示。代码可在：https://github.com/midi-lab/steel获取。