用于高维基于模型的强化学习的原型上下文感知动力学泛化
机器学习
2022-11-24 v1
摘要
潜世界模型为在高维观测任务中以紧凑潜空间学习策略提供了有前景的途径，然而其在具有未知动力学的多样环境中的泛化仍具挑战。尽管当前进展中使用的循环结构有助于捕捉局部动力学，但仅建模状态转移而不显式理解环境上下文限制了动力学模型的泛化能力。为解决此问题，我们提出原型上下文感知动力学（ProtoCAD）模型，其通过时间一致的潜上下文捕捉局部动力学，并实现高维控制任务中的动力学泛化。ProtoCAD 借助在批次上聚类的原型提取有用上下文信息，并从两方面惠及基于模型的 RL：1）它利用时间一致的 proto 正则化器，鼓励为同一潜轨迹不同时间部分产生的原型分配在时间上一致，而非比较特征；2）设计了结合潜状态投影嵌入与聚合原型的上下文表示，可显著提升动力学泛化能力。大量实验表明 ProtoCAD 在动力学泛化方面超越现有方法。与基于循环的模型 RSSM 相比，ProtoCAD 在所有动力学泛化任务上的均值与中位数性能分别高出 13.2% 与 26.7%。
引用
@article{arxiv.2211.12774,
title = {Prototypical context-aware dynamics generalization for high-dimensional model-based reinforcement learning},
author = {Junjie Wang and Yao Mu and Dong Li and Qichao Zhang and Dongbin Zhao and Yuzheng Zhuang and Ping Luo and Bin Wang and Jianye Hao},
journal= {arXiv preprint arXiv:2211.12774},
year = {2022}
}