揭开面纱:释放Q-learning中深度的力量
机器学习
2023-10-30 v1
摘要
在海量数据与丰富计算资源的助力下,深度Q-learning已广泛应用于运筹学与管理科学,并在推荐系统、供应链、游戏与机器人操控等众多应用中取得巨大成功。然而,深度Q-learning的成功缺乏坚实的理论验证与可解释性。本文旨在从理论上验证深度Q-learning中深度的力量。在统计学习理论框架下,我们通过证明其良好的泛化误差界,严格证明深度Q-learning优于其传统版本。我们的结果表明,深度Q-learning成功的主要原因在于深度神经网络(深度网)在捕捉奖励的特殊性质即空间稀疏性与分段常数性方面的优异表现,而非其大容量。本文通过回答以下三个问题对强化学习领域作出基础性贡献:为何深度Q-learning表现如此之好?深度Q-learning何时优于传统Q-learning?达到特定预测精度需要多少样本?我们的理论断言通过在知名供应链管理啤酒游戏与模拟推荐系统中应用深度Q-learning得到验证。
引用
@article{arxiv.2310.17915,
title = {Lifting the Veil: Unlocking the Power of Depth in Q-learning},
author = {Shao-Bo Lin and Tao Li and Shaojie Tang and Yao Wang and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:2310.17915},
year = {2023}
}