面向强化学习的实用干扰度量
机器学习
2020-07-09 v1 人工智能
机器学习
摘要
灾难性干扰在许多基于网络的学习系统中十分常见,并且存在许多缓解它的方案。但是,在克服干扰之前,我们必须更好地理解它。在这项工作中,我们给出了强化学习中控制的干扰定义。我们通过评估与若干学习性能度量(包括稳定性、样本效率,以及跨多种学习架构的在线与离线控制性能)的相关性,系统地评价了我们的新度量。我们的新干扰度量使我们能够针对常用深度学习架构提出新颖的科学问题。特别地,我们表明目标网络频率是干扰的主导因素,并且最后一层上的更新所导致的干扰显著高于网络内部更新所导致的干扰。这一新度量计算代价可能较高;我们以高效代理度量的动机作结,并通过实验证明其与我们干扰定义的相关性。
引用
@article{arxiv.2007.03807,
title = {Towards a practical measure of interference for reinforcement learning},
author = {Vincent Liu and Adam White and Hengshuai Yao and Martha White},
journal= {arXiv preprint arXiv:2007.03807},
year = {2020}
}
备注
18 pages