GPart：基于全局参数划分的端到端等距微调
机器学习
2026-05-15 v1 人工智能
摘要
低秩适配（LoRA）已成为大语言模型（LLM）参数高效微调（PEFT）的主流范式。然而，其双线性结构引入了一个关键局限：从可训练参数到权重更新的映射不保距，从而扭曲了优化景观。将低维向量投影到 LoRA 参数空间的方法（如 Uni-LoRA）提升了参数效率，但随后的双线性 LoRA 映射破坏了端到端等距性，使得保距这一核心问题仍未解决。我们提出 GPart（全局划分微调），一种极具参数效率的微调方法，该方法彻底消除了低秩瓶颈。我们的方法使用单一等距划分矩阵，将 维可训练向量直接映射到模型的完整权重空间。其结果是一个极其精简的微调流水线：一次随机投影，端到端等距，仅有一个简洁的超参数（），存储成本为 个值（可训练向量加上一个随机种子）。GPart 的理论基础在于：有效的微调可以产生于完整权重空间的随机低维子空间中，而无需施加低秩矩阵结构。我们在自然语言理解、计算机视觉任务和数学推理上经验性地证明了 GPart 相较于现有 PEFT 方法的优越或可比性能。总体而言，GPart 通过消除结构约束实现了 SOTA 的效率与性能，为 PEFT 提供了一条简洁优雅的路径。
引用
@article{arxiv.2605.14841,
title = {GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning},
author = {Paolo Mandica and Michał Brzozowski and Zuzanna Dubanowska and Neo Christopher Chung},
journal= {arXiv preprint arXiv:2605.14841},
year = {2026}
}