基于模型的微数据强化学习：哪些模型属性至关重要以及选择哪种模型？
机器学习
2021-07-27 v1
摘要
我们通过使用固定的（随机射击）控制智能体严格比较流行的生成模型，为微数据基于模型的强化学习（MBRL）做出贡献。我们发现，在需要多模态后验预测的环境中，混合密度网络以较大优势优于所有其他模型。当不需要多模态时，我们令人惊讶的发现是，我们不需要概率性后验预测：确定性模型与之相当，事实上它们始终（尽管不显著地）优于其概率性对应模型。我们还发现，训练时的异方差性，可能起到了正则化器的作用，改善了更长视野下的预测。在方法论方面，我们设计了指标和实验方案，可用于评估各种模型，预测它们在控制问题上的渐近性能。利用此框架，我们使用通常考虑的超参数区间之外的激进训练计划，将 Acrobot 上 MBRL 的最先进样本复杂度提高了两到四倍。
引用
@article{arxiv.2107.11587,
title = {Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose?},
author = {Balázs Kégl and Gabriel Hurtado and Albert Thomas},
journal= {arXiv preprint arXiv:2107.11587},
year = {2021}
}
备注
Published at International Conference on Learning Representations, 2021: https://openreview.net/forum?id=p5uylG94S68