时序差分学习中的干扰与泛化
机器学习
2020-03-16 v1 机器学习
摘要
我们研究了时序差分（TD）学习中泛化与干扰之间的联系。干扰被定义为两个不同梯度的内积，表示它们的对齐程度。从关于神经网络、参数共享和学习动力学的各种观察中，这一量逐渐显现出令人关注的特性。我们发现，TD 容易导向低干扰、欠泛化的参数，而在监督学习中该效应似乎相反。我们假设其原因可追溯到干扰动力学与自举之间的相互作用。若干实证观察支持了这一假设：TD 中泛化差距与干扰的负相关关系、自举对干扰及目标局部一致性的负效应，以及 TD(0) 与 TD() 和蒙特卡洛策略评估等回归任务中信息传播速率的对比。我们希望这些新发现能指导未来对更好自举方法的探索。
引用
@article{arxiv.2003.06350,
title = {Interference and Generalization in Temporal Difference Learning},
author = {Emmanuel Bengio and Joelle Pineau and Doina Precup},
journal= {arXiv preprint arXiv:2003.06350},
year = {2020}
}
备注
Submitted to ICML 2020. 20 pages, 14 figures