PromptGate: 面向开放集联邦主动学习的客户端自适应视觉语言门控
计算机视觉与模式识别
2026-03-10 v1
摘要
在资源受限的机构中部署医疗AI需要尊重患者隐私的数据高效学习流水线。联邦学习(FL)无需集中数据即可实现协作式医疗AI,然而真实世界的临床数据池本质上是开放集的,包含诸如成像伪影和错误模态等分布外(OOD)噪声。标准的主动学习(AL)查询策略会将这种噪声误认为信息样本,浪费宝贵的标注预算。我们提出PromptGate,一个用于开放集联邦AL的动态VLM门控框架,在查询前净化未标注数据池。PromptGate引入了一种联邦类特定上下文优化:轻量级、可学习的提示向量,使冻结的BiomedCLIP主干适应本地临床领域,并通过FedAvg全局聚合——无需共享患者数据。随着新标注的到来,提示逐步锐化内部分布/分布外边界,将VLM转变为一个动态门控器,该门控器与策略无关:一个即插即用的预选择模块,增强任何下游AL策略。在分布式皮肤病学和乳腺成像基准上的实验表明,静态VLM提示会退化到50%的内部分布纯度,而PromptGate保持了超过95%的纯度,并具有98%的分布外召回率。
引用
@article{arxiv.2603.07163,
title = {PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning},
author = {Adea Nesturi and David Dueñas Gaviria and Jiajun Zeng and Shadi Albarqouni},
journal= {arXiv preprint arXiv:2603.07163},
year = {2026}
}
备注
3 Figures, 2 Tables, 10 pages