并非所有方向都重要：面向结构化和任务感知的低秩模型适配
计算机视觉与模式识别
2026-04-28 v2
摘要
低秩适配 (LoRA) 已成为参数高效微调 (PEFT) 的基石。然而，其效能受到两个根本性局限的制约：语义漂移——将所有更新方向视为等重要，以及结构不一致——由于独立地适配各层，导致次优且不协调的更新。为弥补这些不足，我们提出 StructLoRA 框架，通过原则化的双组件设计来解决这两个局限：(1) 受信息瓶颈指导的过滤器，剔除与任务无关的方向以缓解语义漂移；(2) 轻量级、仅训练时的图基协调器，以强制跨层一致性以解决结构不一致。广泛的实验在大语言模型、视觉语言模型和视觉模型（包括 LLaMA、LLaVA 和 ViT）上均表明，StructLoRA 持续地建立了新的状态-of-the-art，超越不仅是基础 LoRA 还有各种先进的动态秩分配和稀疏化方法。尤其值得注意的是，在挑战性的低秩和低数据 regime 中，优势尤为显著。关键的是，由于我们提出的模块仅在训练期间运行，StructLoRA 在零额外推理成本下提升性能，推动了 PEFT 的关注度——从单纯的参数压缩，转向对信息质量和结构完整性更为整体的优化。
引用
@article{arxiv.2603.14228,
title = {Not All Directions Matter: Towards Structured and Task-Aware Low-Rank Model Adaptation},
author = {Xi Xiao and Chenrui Ma and Yunbei Zhang and Chen Liu and Zhuxuanzi Wang and Yanshu Li and Lin Zhao and Guosheng Hu and Tianyang Wang and Hao Xu},
journal= {arXiv preprint arXiv:2603.14228},
year = {2026}
}
备注
ACL 2026