基于量子列车的分布式多智能体强化学习
量子物理
2024-12-13 v1 人工智能
摘要
本文引入基于量子列车的分布式多智能体强化学习（Dist-QTRL），以解决传统强化学习在可扩展性方面的挑战，方法是融合量子计算原理。量子列车强化学习（QTRL）利用可参数化的量子电路高效生成神经网络参数，实现可训练参数维度以 的降低，同时利用量子纠缠实现数据表示的优越性。该框架设计用于分布式多智能体环境，其中多个智能体（建模为量子处理单元 QPU）并行运行，从而实现更快的收敛和增强的可扩展性。此外，Dist-QTRL 框架可通过利用分布式量子训练在经典神经网络中实现参数降低，随后使用经典 CPU 或 GPU 进行推理，扩展至高性能计算（HPC）环境。这种混合量子-HPC 方法可进一步优化实际应用中的性能。本文对 Dist-QTRL 框架的数学形式化进行了阐述，并探讨了其收敛性，同时通过实证结果表明其在中心化 QTRL 模型方面取得性能提升。结果凸显了量子增强型强化学习在应对复杂高维任务方面的潜力，尤其是在分布式计算环境中，通过并行化实现显著加速，同时不损害模型准确性。本工作为可扩展的量子增强型强化学习系统在实际应用中的部署奠定了基础，充分利用量子与经典计算资源。
引用
@article{arxiv.2412.08845,
title = {Quantum-Train-Based Distributed Multi-Agent Reinforcement Learning},
author = {Kuan-Cheng Chen and Samuel Yen-Chi Chen and Chen-Yu Liu and Kin K. Leung},
journal= {arXiv preprint arXiv:2412.08845},
year = {2024}
}