FiLoRA：聚焦-忽略LoRA 以实现可控特征依赖
机器学习
2026-02-03 v1 人工智能
摘要
多模态基础模型整合了跨模态的异构信号，但仍不清楚其预测如何依赖于特定内部特征组，以及是否可以有意控制这种依赖。现有研究主要依赖后验分析或特征移除，只能有限地了解是否可以在不改变任务语义的前提下调制依赖。我们提出了 FiLoRA (Focus-and-Ignore LoRA)，这是一种以指令为条件的、参数高效的适应框架，使我们能够在保持预测目标不变的前提下，显式控制内部特征依赖。FiLoRA 将适应分解为与特征组对齐的LoRA模块，并应用指令条件化门控，使自然语言指令充当计算级别的控制信号而非任务重新定义。跨文本-图像和音频-视觉基准测试，我们表明，指令条件化门控可引起内部计算的一致且因果的偏移，选择性地放大或抑制核心和伪影特征组，而不修改标签空间或训练目标。进一步的分析表明，FiLoRA 在伪影特征干预下实现了改进的鲁棒性，揭示了一种原则性的机制，用于调节依赖，超越相关驱动的学习。
引用
@article{arxiv.2602.02060,
title = {FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance},
author = {Hyunsuk Chung and Caren Han and Yerin Choi and Seungyeon Ji and Jinwoo Kim and Eun-Jung Holden and Kyungreem Han},
journal= {arXiv preprint arXiv:2602.02060},
year = {2026}
}