MILE：面向跨域和跨模态连续语义分割的混合增量LoRA专家
计算机视觉与模式识别
2026-05-06 v1
摘要
连续语义分割要求模型在不牺牲先前学习任务性能的前提下适应新的域或模态。专家式学习方法通过让任务特定模块在不同域中专门化来缓解遗忘，这种方法在缓解遗忘方面效果良好。这些方法包括动态扩展，导致规模问题；或参数隔离，限制学习新任务的能力。我们引入混合增量LoRA专家（MILE），一个模块化且参数高效的框架，用于跨域和跨模态的连续分割。MILE利用低秩适应（LoRA）为每个新任务实例化轻量级专家，同时保持预训练的基础网络冻结。每个专家仅在其任务数据上训练，从而避免覆盖以前学习的信息。MILE采用原型引导的门控机制在推理时动态选择最合适的专家。MILE实现了专家式学习的优势，同时克服了其规模限制。它仅需每个任务的微小参数增加，即可在匹配单个完整模型大小之前需要十几个LoRA适配器，在训练和存储方面具有高度效率。跨域和跨模态基准测试中，MILE实现了强大的性能，同时确保更好的稳定性、可塑性和可扩展性。
引用
@article{arxiv.2605.03555,
title = {MILE: Mixture of Incremental LoRA Experts for Continual Semantic Segmentation across Domains and Modalities},
author = {Shishir Muralidhara and Didier Stricker and René Schuster},
journal= {arXiv preprint arXiv:2605.03555},
year = {2026}
}
备注
Accepted at ICPR 2026