训练混合深度量子神经网络以实现高效强化学习
量子物理
2025-10-03 v6
摘要
量子电路将数据嵌入希尔伯特空间中，其维度随量子比特数量呈指数级增长，使得即使是浅层参数化量子电路（PQC）也能表示对经典网络而言成本极高且难以捕捉的高度相关概率分布。强化学习（RL）智能体需要在长时序连续控制任务上进行推理，有望从这种富有表现力的量子特征空间中获益，但前提是量子层能够与周围的深度神经组件进行联合训练。当前的梯度估计技术（例如，参数移位规则）使得这种混合训练对于实际的强化学习工作负载而言不切实际，因为每个梯度步骤都需要数量惊人的电路评估，从而削弱了潜在的量子优势。我们引入了 qtDNN，这是一种切线代理模型，它使用在相同小批量上即时训练的小型可微网络局部近似 PQC。将 qtDNN 嵌入计算图中可产生可扩展的批量梯度，同时保留原始量子层用于推理。基于 qtDNN，我们设计了 hDQNN-TD3，这是一种基于 TD3 架构用于连续控制强化学习的混合深度量子神经网络，它在流行基准测试上匹配或超越了最先进的经典性能。该方法为将混合量子模型应用于大规模强化学习和其他梯度密集型机器学习任务开辟了一条道路。
引用
@article{arxiv.2503.09119,
title = {Training Hybrid Deep Quantum Neural Network for Efficient Reinforcement Learning},
author = {Jie Luo and Jeremy Kulcsar and Xueyin Chen and Giulio Giaconi and Georgios Korpas},
journal= {arXiv preprint arXiv:2503.09119},
year = {2025}
}