变分量子软 actor-critic

量子计算在解决特定问题（如整数分解与 Simon 问题）上具有显著优势。对于机器学习中更一般的任务，通过应用变分量子线路，近期已提出越来越多量子算法，尤其在监督学习与无监督学习领域。然而，在 arguably 更为重要且具挑战性的强化学习中，相关工作甚少。先前量子强化学习的工作主要关注动作空间离散的离散控制任务。本工作中，我们基于软 actor-critic（当前连续控制的最优方法之一）开发了量子强化学习算法。具体而言，我们使用由变分量子线路与经典人工神经网络组成的混合量子-经典策略网络。在标准强化学习基准中测试表明，该量子版软 actor-critic 以远少的可调参数达到了与原软 actor-critic 相当的性能。此外，我们分析了不同超参数与策略网络架构的影响，指出了架构设计对量子强化学习的重要性。