中文

基于图像级解缝提示调优的自由形式测试时适应跨域医学图像分类

计算机视觉与模式识别 2025-07-04 v1 图像与视频处理

摘要

测试时适应(Test-Time Adaptation, TTA)因医学数据标注成本高昂,已成为适配未见医学站点数据的热门方案。现有TTA方法假设数据以完整域单元形式到达,但临床实践中常面临数据以任意长度片段、随机到达顺序的情形,这源于资源限制和患者差异。本文提出自由形式测试时适应(F2^2TTA)任务,即在域碎片不规则到达、漂移不可预测的场景下适配源模型。为此,我们设计了图像级解缝提示调优(Image-level Disentangled Prompt Tuning, I-DiPT)框架。该框架引入不变于图像的提示以捕获域不变特征,缓解不可预测漂移;同时引入图像特定提示以适应每个测试图像。由于仅单张图像即可用,提示的知识表征可能不足。为此,我们首次提出不确定性导向遮蔽(Uncertainty-oriented Masking, UoM),通过基于源模型表示不确定性的遮蔽一致性学习,鼓励提示从输入图像中提取足够信息。随后,我们进一步提出平行图蒸馏(Parallel Graph Distillation, PGD)方法,通过平行图网络复用历史图像特定与图像不变提示的知识。在乳腺癌和青光眼分类实验中,我们的方法在F2^2TTA任务上超越了现有TTA方法。代码已公开于 https://github.com/mar-cry/F2TTA。

关键词

引用

@article{arxiv.2507.02437,
  title  = {F^2TTA: Free-Form Test-Time Adaptation on Cross-Domain Medical Image Classification via Image-Level Disentangled Prompt Tuning},
  author = {Wei Li and Jingyang Zhang and Lihao Liu and Guoan Wang and Junjun He and Yang Chen and Lixu Gu},
  journal= {arXiv preprint arXiv:2507.02437},
  year   = {2025}
}

备注

This paper has been submitted to relevant journals