每张测试图像都值得专属提示：面向二维医学图像分割的持续测试时自适应
计算机视觉与模式识别
2024-05-28 v4
摘要
分布偏移广泛存在于不同医疗中心获取的医学图像中，并对预训练语义分割模型在真实场景中的部署构成显著障碍。测试时自适应已证明其在推理阶段应对跨域分布偏移的有效性。然而，大多数现有方法通过更新预训练模型实现自适应，使其在遭遇一系列分布偏移（即持续测试时自适应设定下）易受误差累积与灾难性遗忘影响。为克服这些由更新模型引发的挑战，本文冻结预训练模型，提出基于视觉提示的测试时自适应（VPTTA）方法，为每张测试图像训练专属提示以对齐批归一化层中的统计量。具体而言，我们提出低频提示，其轻量且仅含少量参数，并可在单次迭代中高效训练。为增强提示初始化，我们为 VPTTA 配备记忆库，使当前提示受益于先前提示。此外，我们设计了一种预热机制，混合源域与目标域统计量以构建预热统计量，从而 facilitat 训练过程。大量实验证明了我们的 VPTTA 在两个医学图像分割基准任务上优于其他最先进方法。预训练源模型的代码与权重可在 https://github.com/Chen-Ziyang/VPTTA 获取。
引用
@article{arxiv.2311.18363,
title = {Each Test Image Deserves A Specific Prompt: Continual Test-Time Adaptation for 2D Medical Image Segmentation},
author = {Ziyang Chen and Yongsheng Pan and Yiwen Ye and Mengkang Lu and Yong Xia},
journal= {arXiv preprint arXiv:2311.18363},
year = {2024}
}