CoNeS：用于多序列 MRI 翻译的带偏移调制的条件下神经场
图像与视频处理
2024-03-21 v3 计算机视觉与模式识别
摘要
多序列磁共振成像(MRI)在现代临床研究及深度学习研究中均有广泛应用。然而在临床实践中，由于不同的图像采集协议或患者的造影剂禁忌，经常发生一个或多个 MRI 序列缺失的情况，限制了在多变序列数据上训练的深度学习模型的利用。一种有前景的方法是利用生成模型合成缺失序列，可作为替代采集。解决该问题的最先进方法基于卷积神经网络(CNN)，通常受限于频谱偏差，导致高频精细细节重建不佳。本文提出带偏移调制的条件下神经场(CoNeS)，该模型以体素坐标为输入并学习目标图像的表示以实现多序列 MRI 翻译。所提模型使用多层感知机(MLP)而非 CNN 作为像素到像素映射的解码器。因此，每个目标图像被表示为一个神经场，该场通过带学习潜码的偏移调制以源图像为条件。在 BraTS 2018 与一个内耳前庭神经鞘瘤患者的院内临床数据集上的实验表明，所提方法在多序列 MRI 翻译上视觉与定量均优于最先进方法。此外，我们进行了频谱分析，表明 CoNeS 能够克服常规 CNN 模型中常见的频谱偏差问题。为进一步评估合成图像在临床下游任务中的用途，我们在推理时使用合成图像测试了一个分割网络。
引用
@article{arxiv.2309.03320,
title = {CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation},
author = {Yunjie Chen and Marius Staring and Olaf M. Neve and Stephan R. Romeijn and Erik F. Hensen and Berit M. Verbist and Jelmer M. Wolterink and Qian Tao},
journal= {arXiv preprint arXiv:2309.03320},
year = {2024}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://melba-journal.org/2024:004