基于深度学习的多模态医学图像分类信息融合技术综述
计算机视觉与模式识别
2024-04-24 v1 人工智能
摘要
多模态医学成像在临床诊断和科研中发挥着关键作用，因为它将来自各种成像模态的信息结合在一起，为理解潜在病理提供了更全面的认识。最近，基于深度学习的多模态融合技术已成为提高医学图像分类的强大工具。本综述提供了对深度学习基于多模态融合在医学分类任务中最新发展的详尽分析。我们探讨了不同临床模态之间的互补关系，概述了三种主要的多模态分类网络融合方案：输入融合、中间融合（包括单层融合、层次融合和注意力融合）以及输出融合。通过评估这些融合技术的性能，我们提供了对不同网络架构在各种多模态融合场景和应用领域中适合性的见解。此外，我们深入探讨了与网络架构选择、处理不完整多模态数据管理以及多模态融合潜在局限性相关的挑战。最后，我们聚焦于基于 Transformer 的多模态融合技术的前景，并为本快速发展领域的未来研究提出建议。
关键词
引用
@article{arxiv.2404.15022,
title = {A review of deep learning-based information fusion techniques for multimodal medical image classification},
author = {Yihao Li and Mostafa El Habib Daho and Pierre-Henri Conze and Rachid Zeghlache and Hugo Le Boité and Ramin Tadayoni and Béatrice Cochener and Mathieu Lamard and Gwenolé Quellec},
journal= {arXiv preprint arXiv:2404.15022},
year = {2024}
}