LLM-QFL：用于量子联邦学习的大语言模型蒸馏
机器学习
2025-05-27 v1
摘要
受大型语言模型（LLM）强大能力的启发，我们的研究将其应用于量子联邦学习（QFL），以提升效率和性能。我们提出一种蒸馏方法，在 QFL 中将 LLM 蒸馏到本地，使每个客户端能够针对自身数据进行本地适应，同时保持隐私并减少不必要的全局更新。经过微调的 LLM 还充当强化学习代理，优化 QFL，通过调整优化器步骤、减少通信轮数并智能选择客户端来实现。实验表明，显著提升了效率。我们首次实现了 LLM 与 QFL 的协同，提供：i) 实际效率：降低通信成本，加快收敛速度。ii) 理论严谨性：对自适应联邦优化提供可证明的保证。iii) 可扩展性：PEFT 方法（LoRA、QLoRA）使资源受限的量子设备能够部署。代码实现已公开。
引用
@article{arxiv.2505.18656,
title = {LLM-QFL: Distilling Large Language Model for Quantum Federated Learning},
author = {Dev Gurung and Shiva Raj Pokhrel},
journal= {arXiv preprint arXiv:2505.18656},
year = {2025}
}