用于非配对图像协调的分割重归一化深度特征调制
图像与视频处理
2021-04-16 v2 计算机视觉与模式识别
摘要
深度网络如今在大规模多中心成像研究中无处不在。然而，由于对比度、分辨率和噪声的不一致，直接跨站点聚合图像不利于下游统计分析和基于深度学习的图像分析。为此，在缺乏配对数据的情况下，循环一致生成对抗网络（Cycle-consistent Generative Adversarial Networks）的变体已被用于协调源域与目标域间的图像集。重要的是，这些方法易出现不稳定性、对比度反转、对病理的难以处理操控以及隐写映射，限制了其在真实世界医学成像中的可靠采用。本工作中，基于形态形状在各成像站点间一致的潜在假设，我们提出一种分割重归一化图像翻译框架，以在保留解剖结构布局的同时减少扫描仪间异质性。我们将生成网络中归一化层使用的仿射变换替换为可训练的缩放与偏移参数，这些参数以联合学习的解剖分割嵌入为条件，从而在翻译的每一层级调制特征。我们在带与不带病灶的多个数据集上，针对若干成像模态（T1w MRI、FLAIR MRI 和 OCT）评估了我们的方法相对于近期基线的表现。用于翻译 GAN 的分割重归一化产生了更优的图像协调（由 Inception 距离量化），通过事后分割精度展示了改进的下游效用，并提升了对翻译扰动与自对抗攻击的鲁棒性。
引用
@article{arxiv.2102.06315,
title = {Segmentation-Renormalized Deep Feature Modulation for Unpaired Image Harmonization},
author = {Mengwei Ren and Neel Dey and James Fishbaugh and Guido Gerig},
journal= {arXiv preprint arXiv:2102.06315},
year = {2021}
}
备注
Accepted by IEEE Transactions on Medical Imaging. Code available at https://github.com/mengweiren/segmentation-renormalized-harmonization