量子增强的 LLM 高效微调
量子物理
2025-04-29 v2 人工智能
摘要
低秩适应（LoRA）通过低秩矩阵近似实现了对预训练语言模型的高效微调，在许多场景中取得良好效果。然而，在复杂任务或高秩依赖设置中，其表示能力受限，可能限制了模型的可适应性。为克服经典低秩近似在微调大型语言模型（LLM）时的表达瓶颈，我们提出了量子张量混合适应（Quantum Tensor Hybrid Adaptation, QTHA），这是一种将量子神经网络（QNN）与张量网络集成的参数高效微调方法。QTHA 通过分解预训练权重为量子神经网络和张量网络表示，探索了低秩空间中的量子张量混合微调，利用量子态叠加克服经典秩的限制。实验表明，QTHA 在参数高效微调方面的性能与 LoRA 相当或更优。相比 LoRA，QTHA 减少了可训练参数 76%，在相同训练步数下将训练损失降低最高 17%，并提升测试集性能最高 17%。该研究不仅使量子资源能够轻量化适配数十亿参数模型，也验证了由 LLM 任务驱动的量子硬件优化的可行性。它为未来量子增强型人工通用智能（AGI）系统奠定了第一个工程就绪基础。
引用
@article{arxiv.2503.12790,
title = {Quantum-Enhanced LLM Efficient Fine Tuning},
author = {Xiaofei Kong and Lei Li and Zhaoyun Chen and Cheng Xue and Xiaofan Xu and Huanyu Liu and Yuchun Wu and Yuan Fang and Han Fang and Kejiang Chen and Yang Yang and Menghan Dou and Guoping Guo},
journal= {arXiv preprint arXiv:2503.12790},
year = {2025}
}