梯度对齐改进医学图像分割的测试时自适应
计算机视觉与模式识别
2024-12-30 v4
摘要
尽管近年来医学图像分割取得了显著进展，但来自不同中心的医学图像之间普遍存在的域偏移问题阻碍了预训练模型的有效部署。许多测试时自适应（TTA）方法通过在推理过程中利用测试数据微调预训练模型来解决此问题。然而，这些方法通常由于次优的优化方向（由梯度决定）和固定的步长（由学习率决定）而难以获得令人满意的优化效果。在本文中，我们提出了基于梯度对齐的测试时自适应（GraTa）方法，以改进优化过程中的梯度方向和学习率。与主要优化自监督目标导出的伪梯度的传统TTA方法不同，我们的方法引入辅助梯度与伪梯度进行协同，以促进梯度对齐。这种梯度对齐使模型能够挖掘不同梯度之间的相似性，并纠正梯度方向以逼近与当前分割任务相关的经验梯度。此外，我们设计了基于伪梯度和辅助梯度之间余弦相似度的动态学习率，从而实现对多样化测试数据上预训练模型的自适应微调。大量实验验证了所提出的梯度对齐和动态学习率的有效性，并证明了GraTa方法在基准医学图像分割任务上优于其他最先进的TTA方法。预训练源模型的代码和权重可在 https://github.com/Chen-Ziyang/GraTa 获取。
引用
@article{arxiv.2408.07343,
title = {Gradient Alignment Improves Test-Time Adaptation for Medical Image Segmentation},
author = {Ziyang Chen and Yiwen Ye and Yongsheng Pan and Yong Xia},
journal= {arXiv preprint arXiv:2408.07343},
year = {2024}
}
备注
Accepted by AAAI 2025