基于量化的细粒度因果动力学学习提升强化学习鲁棒性
机器学习
2024-06-06 v1 人工智能
摘要
因果动力学学习最近成为增强强化学习(RL)鲁棒性的一种有前景的方法。通常，目标是构建一个基于实体间因果关系进行预测的动力学模型。尽管因果关系通常仅在特定上下文中显现，但现有方法忽略了这种细粒度关系，缺乏对动力学的详细理解。在这项工作中，我们提出了一种新颖的动力学模型，该模型推断细粒度因果结构并将其用于预测，从而提升RL的鲁棒性。关键思想是联合学习动力学模型与一个离散潜变量，该变量将状态-动作空间量化为子群。这有助于识别显示稀疏依赖性的有意义上下文，其中在训练过程中为每个子群学习因果结构。实验结果表明，我们的方法在细粒度因果推理至关重要的下游任务中，对未见状态和局部虚假相关性具有鲁棒性。我们进一步通过与先前方法的比较，展示了基于子群的量化方法在发现细粒度因果关系方面的有效性。
引用
@article{arxiv.2406.03234,
title = {Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning},
author = {Inwoo Hwang and Yunhyeok Kwak and Suhyung Choi and Byoung-Tak Zhang and Sanghack Lee},
journal= {arXiv preprint arXiv:2406.03234},
year = {2024}
}
备注
ICML 2024