仅相关信息重要：过滤噪声样本以提升强化学习
机器学习
2020-11-23 v5 机器学习
摘要
在强化学习中，策略梯度算法直接优化策略并依赖于对环境的高效采样。然而，尽管大多数采样过程基于直接策略采样，自我性能度量可用于在每次策略更新前改进此类采样。遵循这一思路，我们提出 SAUNA，一种从梯度更新中剔除非信息性转移的方法。信息水平根据价值函数解释的方差比例来估计：即 V 与经验回报之间差异的度量。在本工作中，我们使用该度量来筛选有助于学习的样本，并证明这种筛选能显著提升策略梯度方法的性能。本文中：(a) 我们定义 SAUNA 的度量并介绍其过滤转移的方法。(b) 我们在一组基准连续控制问题上进行实验。SAUNA 显著提升了性能。(c) 我们探究 SAUNA 如何可靠地选择对学习有最正面影响的样本，并研究其在性能与样本效率上的改进。
引用
@article{arxiv.1904.04025,
title = {Only Relevant Information Matters: Filtering Out Noisy Samples to Boost RL},
author = {Yannis Flet-Berliac and Philippe Preux},
journal= {arXiv preprint arXiv:1904.04025},
year = {2020}
}
备注
Accepted at IJCAI 2020