Fisher 子空间中的学习：LoRA 微调的引导初始化
机器学习
2026-05-28 v3
摘要
LoRA 通过限制预训练权重的低秩子空间来适应大型语言模型 (LLM)。虽然这大大降低了训练成本，但适应性效果严重依赖于初始化时选择的子空间：一种不良的初始化会在与任务无关的方向上分配容量，从而严重阻碍下游性能。现有的初始化策略主要依赖于预训练权重的内在属性，隐式地假设权重几何本身反映任务相关性。然而，这些标准忽略了模型如何与下游数据分布相互作用。在本工作中，我们将 LoRA 初始化建模为识别参数空间中各个方向在目标数据分布下的影响程度。我们认为，数据感知的灵敏度而非仅仅是权重幅值，应该决定适应子空间的选择。基于这一视角，我们提出了一种 Fisher 引导框架，利用下游数据引起的曲率信息来描述参数扰动如何影响模型预测。这种视角为选择更贴合目标目标适应的 LoRA 方向提供了原则性、任务依赖性的标准。跨越 diverse 任务和模态的实证结果表明，数据感知的初始化在提升下游性能方面始终且显著地优于现有方法。
引用
@article{arxiv.2605.01046,
title = {Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning},
author = {Zhi-Quan Feng and Ying-Jia Lin and Hung-Yu Kao},
journal= {arXiv preprint arXiv:2605.01046},
year = {2026}
}