GAIN：用于域适应的乘法调制
机器学习
2026-04-22 v2 人工智能
摘要
将 LLM 适配到新领域会导致遗忘，因为常用方法（如全参数微调、LoRA）会向权重空间注入新方向。我们指出，遗忘由一种代数性质决定：更新是否保持预训练权矩阵的列张量（命题 1）。我们提出 GAIN，即最简单的乘法替代方案（W_new = S * W），其按构造方式满足此条件，可被吸收到现有权重中实现零推理成本。跨五个模型（774M 至 70B）依次适配八个领域，GAIN 在早期领域的困惑度提升 7%-13%，而 LoRA 则下降 18%-36%。GAIN 在不存储先前数据的情况下匹配带回放的 LoRA，并在遗忘-适应帕累托前沿中遠于 EWC。虽然 LoRA 只能通过牺牲领域适应来减少遗忘，但 GAIN 两者皆可实现，无需域边界且无需正则化。该原理可推广：独立乘法方法 (IA)^3 也能改善早期领域。
引用
@article{arxiv.2604.04516,
title = {GAIN: Multiplicative Modulation for Domain Adaptation},
author = {Hengshuai Yao and Xing Chen and Ahmed Murtadha and Guan Wang},
journal= {arXiv preprint arXiv:2604.04516},
year = {2026}
}