BoHA：用于参数高效微调的分块 Hadamard 积自适应

大语言模型的参数高效微调（PEFT）在保持预训练模型冻结的同时，训练一个小的特定任务参数集。主流的低秩自适应（LoRA）方法族使这种权衡变得实用；然而，在相同参数预算下的评估仅衡量了单任务精度。在序列自适应设置中，此类评估还应衡量在后续微调后第一阶段任务性能的保持程度。为弥补这一不足，我们提出了 BoHA，一种分块的 $W_0$ 耦合 Hadamard 积适配器，将空间支持视为显式的设计维度。BoHA 将冻结权重 $W_0$ 划分为 $b{\times}b$ 网格，并在每个块中学习独立的低秩 Hadamard 积因子，在保持与 LoRA 等效的总秩匹配的同时实现无适配器的合并推理。在合成目标上，块内秩 $r_b{=}1$ 的 BoHA 精确重构了在全局 $W_0$ 耦合 Hadamard 参数化下需要秩 $b^2$ 的更新。在常识和算术推理任务上，针对 Llama-3.2-1B/3B、Mistral-7B 和 Gemma-2-9B，BoHA 在所有预算匹配的单任务平均值上均优于 LoRA，并与最强的 Hadamard 基线保持竞争力。在 Llama-3.2-3B 常识 $\to$ 算术持续学习诊断中，BoHA 保留了 $57.66\%$ 的第一阶段精度，在第二阶段可塑性匹配的条件下，比无 $W_0$ 的加性控制均值高出 $15.23\%$。这些结果表明，当序列自适应下的性能保持是目标的一部分时，分块 $W_0$ 耦合 Hadamard 自适应是一种有竞争力的 PEFT 设计选择。