面向全方位医学图像修复的任务自适应 Transformer
计算机视觉与模式识别
2025-12-17 v1
摘要
医学图像修复（MedIR）旨在从低质量医学图像中恢复出高质量图像。近期研究聚焦于构建能够同时解决多种不同MedIR任务的全能型模型。然而，由于模态和退化类型差异显著，使用共享模型处理这些多样化任务需要仔细考虑两个关键的任务间关系：任务干扰（因同一参数上不同任务产生冲突的梯度更新方向而引发），以及任务不平衡（因各任务固有的学习难度不同导致的优化不均）。为此，我们提出了一种任务自适应 Transformer（TAT），通过两个关键创新实现对不同任务的动态适应。首先，引入任务自适应权重生成策略，通过为每个任务生成特定权重参数来缓解任务干扰，从而消除共享参数上的潜在梯度冲突；其次，引入任务自适应损失平衡策略，根据任务的学习难度动态调整损失权重，防止任务被支配或欠训练。大量实验表明，我们所提出的TAT在三个MedIR任务——PET合成、CT去噪和MRI超分辨率——的任务特定设置和全能型设置下均实现了最先进的性能。代码已公开于 https://github.com/Yaziwel/TAT。
引用
@article{arxiv.2512.14550,
title = {TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration},
author = {Zhiwen Yang and Jiaju Zhang and Yang Yi and Jian Liang and Bingzheng Wei and Yan Xu},
journal= {arXiv preprint arXiv:2512.14550},
year = {2025}
}
备注
This paper has been accepted by MICCAI 2025