pMoE：通过提示式多专家协同提升视觉适应
计算机视觉与模式识别
2026-02-27 v1 人工智能
机器学习
摘要
参数高效微调在各种视觉适应任务（如分类和分割）上展现出前景。通常，提示调谐技术仅从单个预训练模型中提取知识，无论该模型来自通用领域还是专业医学领域。然而，这种方法通常忽略了在同一调谐过程中整合多样化领域知识所可能产生的协同效应。本文提出一种新型的混合专家提示调谋方法，称为 pMoE，利用通过专家专用提示标记和可学习调度器所实现的多个专家领域优势，在统一的模型框架中有效整合其专业知识。pMoE 引入专家特定的提示标记，并在多个提示层上采用动态标记调度机制，以优化每个领域专家在适应阶段的贡献。通过整合来自多个专家的领域知识，所提出的 pMoE 显著提升了模型的灵活性和适应性。我们在 47 项适应任务上进行了大量实验，涵盖通用和医学领域的分类和分割。结果表明，pMoE 不仅以显著的性能提升实现了优异成绩，还在计算效率与适应性效果之间实现了最佳的权衡。
引用
@article{arxiv.2602.22938,
title = {pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation},
author = {Shentong Mo and Xufang Luo and Dongsheng Li},
journal= {arXiv preprint arXiv:2602.22938},
year = {2026}
}