通过比较多样化数据集实现 Ex-BMDP 的离线无动作学习
机器学习
2025-03-28 v1
摘要
虽然序列决策环境常涉及高维观测，但这些观测的特征并非全部对控制都很重要。特别是，观测空间可能捕获环境中不受代理人控制因素，但这些因素会增加观测空间的复杂性。为高效策略学习，需要忽略这些“噪声”特征以操作于可管理的规模状态空间。这一挑战可以通过从无动作的离线数据中进行任务无关的表示学习来缓解。然而，近期工作指出，在存在观测中时序相关噪声特征的 Exogenous Block MDP (Ex-BMDP) 模型下，无动作学习存在理论局限。为解决这些局限，本文识别了一个现实情境，在该情境中，Ex-BMDP 的表示学习变得可行：当来自多个具有不同策略的代理人的无动作视频数据可用时。具体而言，本文引入了 CRAFT（Comparison-based Representations from Action-Free Trajectories），这是一种高效算法，利用代理人之间可控特征动态差异来学习表示。我们为 CRAFT 的性能提供了理论保证，并在一个示例中演示了其可行性，为类似情境下的实用方法奠定了基础。
引用
@article{arxiv.2503.21018,
title = {Offline Action-Free Learning of Ex-BMDPs by Comparing Diverse Datasets},
author = {Alexander Levine and Peter Stone and Amy Zhang},
journal= {arXiv preprint arXiv:2503.21018},
year = {2025}
}