GANBERT：结合来自 Transformers 的双向编码器表示的生成对抗网络用于 MRI 到 PET 的合成
图像与视频处理
2020-08-12 v1 计算机视觉与模式识别
机器学习
摘要
合成诸如 PET 等医学图像是一项具有挑战性的任务，因为其强度范围比照片和数字渲染图宽得多且更密集，并往往严重偏向零。最重要的是，PET 中的强度值具有绝对意义，并用于计算在群体中可复现的参数。然而，在合成 PET 图像时，通常必须在前/后处理中做大量手动调整，因为其强度范围可能变化很大，例如浮点值介于 -100 到 1000 之间。为克服这些挑战，我们采用了在自然语言处理（NLP）中取得巨大成功的来自 Transformers 的双向编码器表示（BERT）算法，其中宽范围浮点强度值被表示为介于 0 到 10000 之间的整数，类似于自然语言词汇字典。然后训练 BERT 预测被掩码部分比例的图像值，其“下一句预测（NSP）”充当 GAN 判别器。我们提出的方法能够在宽强度范围内从 MRI 图像生成 PET 图像，且前/后处理中无需手动调整。它是一种可扩展且随时可部署的方法。
引用
@article{arxiv.2008.04393,
title = {GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis},
author = {Hoo-Chang Shin and Alvin Ihsani and Swetha Mandava and Sharath Turuvekere Sreenivas and Christopher Forster and Jiook Cha and Alzheimer's Disease Neuroimaging Initiative},
journal= {arXiv preprint arXiv:2008.04393},
year = {2020}
}