揭示变分量子深度 Q 网络中的不稳定性

深度强化学习在过去十年中取得了长足的进步。与此同时，最先进的强化学习算法需要大量的计算预算（就训练时间而言）才能收敛。最近的工作开始通过量子计算的视角来解决这个问题，量子计算承诺为几个传统上困难的任务提供理论上的加速。在这项工作中，我们研究了一类混合量子-经典强化学习算法，我们将其统称为变分量子深度 Q 网络（VQ-DQN）。我们展示了 VQ-DQN 方法容易受到不稳定性的影响，导致学习到的策略发散，研究了这在多大程度上影响了基于经典模拟的既定结果的可复现性，并进行了系统性实验以识别所观察到的不稳定性的潜在解释。此外，与大多数现有的量子强化学习工作不同，我们在实际的量子处理单元（一个 IBM 量子设备）上执行强化学习算法，并研究了模拟量子系统与存在实现缺陷的物理量子系统之间的行为差异。我们的实验表明，与文献中相反的说法不同，即使在没有物理缺陷的情况下进行模拟，也无法最终确定已知的量子方法是否能提供优于经典方法的优势。最后，我们提供了一个稳健、通用且经过充分测试的 VQ-DQN 实现，作为未来实验的可复现测试平台。