利用局部因子化动力学进行反事实数据增强
机器学习
2020-12-07 v2 人工智能
机器人学
机器学习
摘要
许多动态过程，包括机器人控制与强化学习（RL）中的常见场景，涉及一组相互作用的子过程。尽管这些子过程并不独立，它们的交互通常是稀疏的，且任意给定时间步的动力学常可分解为局部独立的因果机制。此类局部因果结构可被用以提升序列预测与离策略强化学习的样本效率。我们对此形式化，引入局部因果模型（LCMs），其通过对全局因果模型在状态空间子集上条件化而诱导得出。我们提出一种在给定面向对象状态表示下推断这些结构的方法，以及一种新颖的反事实数据增强（CoDA）算法。CoDA 利用局部结构与经验回放生成在全局模型中因果有效的反事实经验。我们发现 CoDA 显著提升了 RL 智能体在局部因子化任务中的性能，包括批量约束与目标条件设定。
引用
@article{arxiv.2007.02863,
title = {Counterfactual Data Augmentation using Locally Factored Dynamics},
author = {Silviu Pitis and Elliot Creager and Animesh Garg},
journal= {arXiv preprint arXiv:2007.02863},
year = {2020}
}
备注
In Proceedings of NeurIPS 2020. 10 pages (+5 references, +12 appendix). Code available at \url{https://github.com/spitis/mrl}