QuanTA：基于量子启发的张量自适应实现LLMs的高秩高效微调
机器学习
2025-11-11 v3 量子物理
摘要
我们提出了量子启发的张量自适应（QuanTA），一种新颖、易于实现、无推理开销的微调方法，用于大规模预训练语言模型。通过利用源自量子电路结构的量子启发方法，QuanTA实现了高效的高秩微调，超越了低秩自适应（LoRA）的局限性——低秩近似可能无法处理复杂的下游任务。我们的方法在理论上得到了普适性定理和秩表示定理的支持，以实现高效的高秩自适应。实验表明，与传统方法相比，QuanTA显著增强了常识推理、算术推理和可扩展性。此外，与其他方法相比，QuanTA在可训练参数更少的情况下表现出更优的性能，并且可以设计为与现有的微调算法集成以进一步改进，为微调大型语言模型提供了可扩展且高效的解决方案，并推动了自然语言处理领域的最新进展。
引用
@article{arxiv.2406.00132,
title = {QuanTA: Efficient High-Rank Fine-Tuning of LLMs with Quantum-Informed Tensor Adaptation},
author = {Zhuo Chen and Rumen Dangovski and Charlotte Loh and Owen Dugan and Di Luo and Marin Soljačić},
journal= {arXiv preprint arXiv:2406.00132},
year = {2025}
}