iDPA：用于增量医学目标检测的实例解耦提示注意力
计算机视觉与模式识别
2025-06-03 v1
摘要
现有的基于提示的方法利用预训练的大规模模型在分类任务的持续学习中展现了出色的性能；然而，由于医学领域与自然领域之间存在概念鸿沟，前景-背景信息之间的紧密耦合以及提示与图像-文本 token 之间的耦合注意力，在增量医学目标检测任务中带来了显著挑战。为了克服这些挑战，我们引入了 \method~框架，它包含两个主要组件：1) 实例级提示生成 (\ipg)，从图像中解耦细粒度的实例级知识，并生成专注于密集预测的提示；2) 解耦提示注意力 (\dpa)，解耦原始的提示注意力，实现更直接、高效的提示信息传递，同时降低内存使用并缓解灾难性遗忘。我们收集了 13 个临床、跨模态、多器官和多类别的数据集，称为 \dataset，实验表明 \method~优于现有的 SOTA 方法，在全量数据、1-shot、10-shot 和 50-shot 设置下，FAP 分别提升了 5.44\%、4.83\%、12.88\% 和 4.59\%。
引用
@article{arxiv.2506.00406,
title = {iDPA: Instance Decoupled Prompt Attention for Incremental Medical Object Detection},
author = {Huahui Yi and Wei Xu and Ziyuan Qin and Xi Chen and Xiaohu Wu and Kang Li and Qicheng Lao},
journal= {arXiv preprint arXiv:2506.00406},
year = {2025}
}
备注
accepted to ICML 2025