基于肿瘤感知的增强策略与任务引导注意力分析提升脑腮癌MRI分割
图像与视频处理
2026-05-08 v1 计算机视觉与模式识别
摘要
大规模数据集的预训练已显示可提高变换器的通用性，即使对于域外（OOD）模态和任务也是如此。然而，两个常见假设在OOD迁移下常常失败：下游数据集可以适应预训练模型固定的输入几何；以及预训练的表示在不同成像模态之间有效迁移。我们通过两种相互作用的失败模式展示了这些假设在CT到MRI迁移中的破裂：由于零填充以匹配预训练输入维度导致的token效率低下，以及特征适应性不足。这导致了尽管进行大量微调也出现性能下降。我们使用两种CT预训练的分层移位窗口变换器骨干网络（SMIT和Swin UNETR），分别使用不同的目标和数据集进行预训练。机制性分析引入了注意力稀释指数（ADI），这是一种基于熵的度量，用于量化注意力被分配给无信息填充标记的程度，并使用CKA来衡量MRI任务中的特征重用。ADI随着零填充增加，而高特征重用并不一定对应于提高准确率。为缓解这些问题，我们引入了两种干预措施：一种肿瘤感知的增强策略以提高肿瘤外观异质性覆盖，另一种各向异性裁剪策略以恢复token效率。在相同的脑腮癌MRI数据集上进行微调后，SMIT的检测率提升至224/247（90.7%），Swin UNETR为219/247（88.7%），显示在CT到MRI迁移下的鲁棒性得到改善。该研究是首次检视预训练变换器在不同成像模态之间何时有效迁移，以及由数据集的机制性分析所激发的简单缓解策略如何在降低迁移限制的同时提升鲁棒性和MRI检测。
引用
@article{arxiv.2605.05522,
title = {Tumor-aware augmentation with task-guided attention analysis improves rectal cancer segmentation from magnetic resonance images},
author = {Aneesh Rangnekar and Joao Miranda and Natally Horvat and Stephanie Chahwan and Samir Alrayess and Aditya Apte and Aditi Iyer and Eve LoCastro and Revathi Ravella and Marc J Gollub and Iva Petkovska and Jesse Joshua Smith and Paul Romesser and Julio Garcia-Aguilar and Harini Veeraraghavan and Joseph Deasy},
journal= {arXiv preprint arXiv:2605.05522},
year = {2026}
}