量子模仿学习
量子物理
2023-04-06 v1 机器学习
摘要
尽管在解决各类复杂决策任务方面取得了显著成功，使用深度神经网络（DNNs）训练模仿学习（IL）算法仍受困于高昂的计算负担。在这项工作中，我们提出量子模仿学习（QIL），期望利用量子优势来加速 IL。具体地，我们开发了两种 QIL 算法：量子行为克隆（Q-BC）与量子生成对抗模仿学习（Q-GAIL）。Q-BC 以离线方式使用负对数似然损失进行训练，适用于专家数据量大的情形；而 Q-GAIL 以逆强化学习方案工作，是在线且同策略的，适用于专家数据有限的情形。对于两种 QIL 算法，我们采用变分量子线路（VQCs）替代 DNNs 来表示策略，并借助数据重上传和缩放参数进行修改以增强表达能力。我们首先将经典数据编码为量子态作为输入，然后执行 VQCs，最后测量量子输出以获得智能体的控制信号。实验结果表明，Q-BC 与 Q-GAIL 均可取得与经典对应方法相当的性能，并具备量子加速的潜力。据我们所知，我们首次提出 QIL 概念并开展了初步研究，为量子时代铺平了道路。
引用
@article{arxiv.2304.02480,
title = {Quantum Imitation Learning},
author = {Zhihao Cheng and Kaining Zhang and Li Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2304.02480},
year = {2023}
}
备注
Manuscript submitted to a journal for review on January 5, 2022