QuIC：基于 Hamming 权重保持量子电路的量子灵感复合适配器

对大型基础模型进行完整微调会耗尽 GPU 内存和训练时间。参数高效微调（PEFT）方法通过仅更新模型参数子集的适配器模块来解决这一问题。本文引入了受 Hamming 权重保持量子电路启发的量子灵感复合适配器（QuIC Adapters），这是一种 PEFT 方法，可使用小于 0.02% 基础模型内存量进行微调。QuIC 适配器通过强制权参数正交来保持预训练表示，并具备在量子计算机上原生部署机制。我们通过在语言、数学、推理和视觉基准测试上对大型语言模型（如 LLaMA）和视觉 Transformer 进行微调来测试 QuIC 适配器。在一阶配置下，QuIC 恢复了现有正交方法的性能，而更高阶配置则实现了显著的参数压缩（比 LoRA 小 40 倍以上），以适度的性能权衡为代价，为资源受限环境中的应用打开了可能性。通过消融研究，我们确定，结合多个 Hamming 权重阶数、正交性和矩阵复合是实现高性能微调的关键。我们的发现表明，QuIC 适配器为资源受限环境中基础模型的高效微调提供了有前景的方向。