CyTran：具有多级一致性的循环一致性 Transformer 用于非增强到增强 CT 转换
图像与视频处理
2023-04-06 v3 计算机视觉与模式识别
机器学习
摘要
我们提出一种新方法，将未配对的增强计算机断层扫描（CT）转换为非增强 CT，反之亦然。解决该任务有两个重要应用：（i）为无法注射造影剂的患者自动生成增强 CT 扫描，以及（ii）通过在配准前减少造影剂引起的差异来增强增强与非增强 CT 之间的对齐。我们的方法基于循环一致性生成对抗卷积 Transformer，简称 CyTran。由于集成了多级循环一致性损失，我们的神经模型可在未配对图像上训练。除应用于图像层级的标准循环一致性损失外，我们提出在中间特征表示之间施加额外的循环一致性损失，迫使模型在多个表示层级上保持循环一致，从而获得更优结果。为处理高分辨率图像，我们设计了基于卷积与多头注意力层的混合架构。此外，我们引入一个新数据集 Coltea-Lung-CT-100W，包含从 100 名女性患者收集的 100 个 3D 三相肺部 CT 扫描（共 37,290 张图像）（每名患者一次检查）。每次扫描包含三个相位（非增强、早期门静脉期与晚期动脉期），使我们能够开展实验将我们的新方法与时下最先进的图像风格迁移方法比较。我们的实证结果表明 CyTran 优于所有竞争方法。此外，我们展示 CyTran 可用作改进最先进医学图像对齐方法的预备步骤。我们在 https://github.com/ristea/cycle-transformer 开源发布我们的新模型与数据集。
引用
@article{arxiv.2110.06400,
title = {CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for Non-Contrast to Contrast CT Translation},
author = {Nicolae-Catalin Ristea and Andreea-Iuliana Miron and Olivian Savencu and Mariana-Iuliana Georgescu and Nicolae Verga and Fahad Shahbaz Khan and Radu Tudor Ionescu},
journal= {arXiv preprint arXiv:2110.06400},
year = {2023}
}
备注
Accepted for publication in Neurocomputing