PTNet：基于 Transformer 的高分辨率婴儿 MRI 合成器
图像与视频处理
2021-05-31 v1 计算机视觉与模式识别
机器学习
摘要
磁共振成像（MRI）无创地提供关于人类脑结构在生命各阶段如何发育的关键信息。发育科学家尤其对出生后头几年的神经发育感兴趣。尽管针对成人的 MRI 采集与分析已取得成效，研究者仍难以从发育中婴儿处采集高质量多模态 MRI，主要因其不规则睡眠模式、注意力有限、无法遵从保持静止的指令，以及缺乏分析方法。这些挑战常导致可用数据显著减少。为解决此问题，研究者已探索多种方案，通过合成逼真 MRI 来替换损坏扫描。其中，基于卷积神经网络（CNN）的生成对抗网络已展现出有前景的结果并达到最先进性能。然而，对抗训练不稳定，可能需仔细调优正则项以稳定训练。本研究中，我们引入一种新颖的 MRI 合成框架——金字塔 Transformer 网络（PTNet）。PTNet 由 transformer 层、跳跃连接与多尺度金字塔表示构成。与最广泛使用的基于 CNN 的条件 GAN 模型（即 pix2pix 与 pix2pixHD）相比，我们的模型 PTNet 在合成精度与模型规模上均表现更优。值得注意的是，PTNet 不需要任何类型的对抗训练，且可使用简单的均方误差损失轻松训练。
引用
@article{arxiv.2105.13993,
title = {PTNet: A High-Resolution Infant MRI Synthesizer Based on Transformer},
author = {Xuzhe Zhang and Xinzi He and Jia Guo and Nabil Ettehadi and Natalie Aw and David Semanek and Jonathan Posner and Andrew Laine and Yun Wang},
journal= {arXiv preprint arXiv:2105.13993},
year = {2021}
}
备注
arXiv Preprint