自适应集成Q学习：通过误差反馈最小化估计偏差
机器学习
2023-06-22 v1 人工智能
摘要
集成方法是一种有前景的缓解Q学习中过高估计问题的途径，其使用多个函数近似器来估计动作价值。已知估计偏差严重依赖于集成规模（即目标中使用的Q函数近似器数量），且确定“正确”的集成规模极为困难，因为学习过程中函数近似误差具有时变特性。为应对该挑战，我们首先推导了估计偏差的上界与下界，并基于该界自适应调整集成规模以将偏差驱动至近乎为零，从而相应应对时变近似误差的影响。受理论发现的启发，我们主张集成方法可与模型辨识自适应控制(Model Identification Adaptive Control, MIAC)结合以实现有效的集成规模自适应。具体而言，我们设计了自适应集成Q学习(Adaptive Ensemble Q-learning, AdaEQ)，一种具有两个关键步骤的广义集成方法：(a) 近似误差表征，作为灵活控制集成规模的反馈；(b) 面向最小化估计偏差的集成规模自适应。我们开展了大量实验，表明AdaEQ相比现有方法在MuJoCo基准上能提升学习性能。
引用
@article{arxiv.2306.11918,
title = {Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback},
author = {Hang Wang and Sen Lin and Junshan Zhang},
journal= {arXiv preprint arXiv:2306.11918},
year = {2023}
}
备注
NeurIPS 2021