动态输入敏感微调：DISeL方法
机器学习
2026-05-20 v1
摘要
低秩适应（LoRA）是一种广泛使用的参数高效微调方法，但其学习到的校正是静态的：相同的低秩更新被应用于每个输入。这种输入无关的方法导致了一个不可避免的权衡：在适应微调分布方面与保持预训练模型在分布外输入上的行为方面，这贡献了灾难性遗忘。我们引入DISeL（Dynamic Input-Sensitive LoRA），通过在单个秩一组件上添加轻量级输入依赖门控，扩展了LoRA模块。门控机制旨在默认情况下保留预训练模型的行为，同时训练学习激活选择性组件以减少微调损失。DISeL仅添加少量参数，保持低秩结构。在RoBERTa上的GLUE任务、以及Llama和Mistral模型在数学推理和代码生成上的微调实验中，DISeL相对于LoRA和相关变体显著减少了遗忘现象，同时保持了竞争的微调准确率。此外，所学门控激活提供了关于哪些层和秩组件在微调期间最被激活的可解释诊断视图，洞察了任务特定适应的集中位置。代码已公开：https://github.com/alizindari/DISeL。
引用
@article{arxiv.2605.19028,
title = {Learning When to Adapt},
author = {Ali Zindari and Xiaowen Jiang and Rotem Mulayoff and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2605.19028},
year = {2026}
}
备注
Preprint