弱耦合深度 Q 网络
机器学习
2023-10-31 v1
摘要
我们提出弱耦合深度 Q 网络（WCDQN），一种新颖的深度强化学习算法，用于在称为弱耦合马尔可夫决策过程（WCMDP）的一类结构化问题中提升性能。WCMDP 由多个独立的子问题组成，这些子问题通过动作空间约束相连，这是一种在实践中频繁出现的结构特性。尽管具有这种吸引人的结构，WCMDP 随着子问题数量的增长会迅速变得难以处理。WCDQN 采用单一网络训练多个 DQN“子智能体”，每个子问题对应一个，然后将其解组合以建立最优动作价值的上界。这引导主 DQN 智能体趋向最优。我们证明了表格版本，即弱耦合 Q 学习（WCQL），几乎必然收敛到最优动作价值。数值实验表明，在多达 10 个子问题、 个总动作和连续状态空间的设置中，相比 DQN 及相关技术具有更快的收敛速度。
引用
@article{arxiv.2310.18803,
title = {Weakly Coupled Deep Q-Networks},
author = {Ibrahim El Shar and Daniel R. Jiang},
journal= {arXiv preprint arXiv:2310.18803},
year = {2023}
}
备注
To appear in proceedings of the 37th Conference on Neural Information Processing Systems (NeurIPS 2023)