可控-LPMoE: 通过动态局部先验适应具有挑战性的对象分割
计算机视觉与模式识别
2025-10-27 v1
摘要
大规模基础模型为下游对象分割任务提供了强大的特征表示。然而，通过全参数微调适应特定任务时，需更新的大量参数常导致显著计算开销，成为训练效率的瓶颈。虽然现有方法尝试通过直接嵌入可训练提示来微调冻结模型，但这些提示缺乏内在语义先验，限制了大规模模型的适应性。本文提出一种新颖的基于动态先验的微调范式，称为可控-LPMoE，通过动态控制局部先验来增强针对特定分割任务的细粒度感知，微调参数更少。具体而言，我们构建了一个轻量级的动态混合局部先验提取器，通过异构卷积从输入图像中捕获多样化的局部先验，同时采用门控网络动态输出所需的专家先验供后续微调使用。进一步，我们设计了一个双向交互适配器，采用余弦对齐的可变形注意力和通道导向的自适应尺度增强，在冻结特征与可训练特征之间实现交互和重构，实现高效微调。大量实验验证了我们的方法的优越性，显示其在与 31 项最先进 (SOTA) 方法相比较时在 CLEVR-AVR 上实现卓越的分割性能，并展现出对多种二元对象分割任务的适应性。
引用
@article{arxiv.2510.21114,
title = {Controllable-LPMoE: Adapting to Challenging Object Segmentation via Dynamic Local Priors from Mixture-of-Experts},
author = {Yanguang Sun and Jiawei Lian and Jian Yang and Lei Luo},
journal= {arXiv preprint arXiv:2510.21114},
year = {2025}
}
备注
Accepted at ICCV 2025