去偏离线表示学习用于非平稳动态下的快速在线适应
机器学习
2025-03-28 v2 人工智能
摘要
开发能够适应非平稳环境的策略对于现实世界的强化学习应用至关重要。然而，在离线设置下，仅使用有限的预收集轨迹来学习这种可适应策略面临着重大挑战。一个关键困难在于，有限的离线数据使得上下文编码器难以区分环境动态的变化和行为策略的转变，常常导致上下文错误关联。为了解决这个问题，我们提出了一种名为DORA（Debiased Offline Representation for fast online Adaptation）的新方法。DORA融入了信息瓶颈原理，最大化动态编码与环境数据之间的互信息，同时最小化动态编码与行为策略动作之间的互信息。我们提出了DORA的实用实现，利用了信息瓶颈原理的可处理界限。我们在六个具有可变参数的基准MuJoCo任务上的实验评估表明，DORA不仅实现了更精确的动态编码，而且在性能上显著优于现有基线。
引用
@article{arxiv.2402.11317,
title = {Debiased Offline Representation Learning for Fast Online Adaptation in Non-stationary Dynamics},
author = {Xinyu Zhang and Wenjie Qiu and Yi-Chen Li and Lei Yuan and Chengxing Jia and Zongzhang Zhang and Yang Yu},
journal= {arXiv preprint arXiv:2402.11317},
year = {2025}
}