跨模态神经影像合成：综述
图像与视频处理
2023-09-26 v7 计算机视觉与模式识别
摘要
多模态成像改善了疾病诊断并揭示了具有解剖特性的组织中明显的偏差。完全对齐且配对的的多模态神经成像数据的存在已证明其在脑研究中的有效性。然而，收集完全对齐且配对的数据昂贵甚至不切实际，因其面临诸多困难，包括高成本、长采集时间、图像损坏与隐私问题。一种替代方案是探索无监督或弱监督学习方法以合成缺失的神经成像数据。本文从弱监督与无监督设定、损失函数、评估指标、成像模态、数据集及基于合成的下游应用等角度，对神经影像的跨模态合成进行全面综述。我们首先强调跨模态神经影像合成的若干开放性挑战。随后，讨论不同监督下跨模态合成方法的代表性架构。接着逐步深入分析以评估跨模态神经影像合成如何提升其下游任务性能。最后，总结现有研究发现并指出未来研究方向。所有资源见于 https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis
引用
@article{arxiv.2202.06997,
title = {Cross-Modality Neuroimage Synthesis: A Survey},
author = {Guoyang Xie and Yawen Huang and Jinbao Wang and Jiayi Lyu and Feng Zheng and Yefeng Zheng and Yaochu Jin},
journal= {arXiv preprint arXiv:2202.06997},
year = {2023}
}