用于跨模态域适应的自注意力空间自适应归一化
计算机视觉与模式识别
2021-03-08 v1 图像与视频处理
摘要
尽管深度神经网络在许多具有挑战性的视觉任务上取得成功，它们常无法泛化到与训练数据分布不同的新测试域。对于存在显著域偏移的跨模态医学数据，域适应变得更具挑战性。鉴于特定的标注成像模态可能不可获取或不完整，我们提出的解决方案基于医学图像的跨模态合成，以减轻放射科医生的昂贵标注负担并弥合放射图像中的域鸿沟。我们提出一种用于医学图像图像到图像翻译的新方法，支持监督或无监督（非配对图像数据）设定。在对抗训练基础上，我们提出对深度卷积生成器网络中间激活的可学习自注意力空间归一化。不同于以往基于注意力的图像到图像翻译方法（其或为域特定，或需扭曲源域结构），我们揭示了辅助语义信息的重要性，以处理几何变化并在图像翻译中保留解剖结构。在跨模态心脏多模态全心和多模态脑肿瘤MRI（T1/T2）数据集的非配对MRI与CT数据分割上，我们相较最先进方法取得了更优结果。在脑数据集的配对MRI与CT图像跨模态转换中，我们也观察到令人鼓舞的结果。此外，对跨模态图像翻译的详细分析以及充分的消融研究证实了我们所提方法的有效性。
引用
@article{arxiv.2103.03781,
title = {Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain Adaptation},
author = {Devavrat Tomar and Manana Lortkipanidze and Guillaume Vray and Behzad Bozorgtabar and Jean-Philippe Thiran},
journal= {arXiv preprint arXiv:2103.03781},
year = {2021}
}
备注
Accepted for publication in IEEE Transactions on Medical Imaging (IEEE TMI)