Quantum-PEFT: 超高参数高效微调
机器学习
2025-03-10 v1
摘要
本文介绍了利用量子计算进行参数高效微调(PEFT)的 Quantum-PEFT。与低秩适应(LoRA)等其他加性 PEFT 方法不同，Quantum-PEFT 利用了一种底层的满秩但出人意料地参数高效的量子酉参数化。通过使用 Pauli 参数化，可训练参数的数量仅随环境维度对数增长，而不像基于 LoRA 的 PEFT 方法那样线性增长。随着维度增加，Quantum-PEFT 实现了比最低秩 LoRA 少得多的可训练参数，在保持有竞争力的性能的同时提升了参数效率。我们将 Quantum-PEFT 应用于语言和视觉领域的多个迁移学习基准，展示了在参数效率方面的显著优势。
引用
@article{arxiv.2503.05431,
title = {Quantum-PEFT: Ultra parameter-efficient fine-tuning},
author = {Toshiaki Koike-Akino and Francesco Tonin and Yongtao Wu and Frank Zhengqing Wu and Leyla Naz Candogan and Volkan Cevher},
journal= {arXiv preprint arXiv:2503.05431},
year = {2025}
}
备注
ICLR 2025