面向多模态医学图像分割的模态感知互学习
图像与视频处理
2021-07-22 v1 计算机视觉与模式识别
摘要
肝癌是全球最常见的癌症之一。由于肝肿瘤的纹理变化不明显，增强计算机断层扫描（CT）成像对肝癌的诊断十分有效。本文致力于通过整合多模态CT图像来改进自动化肝肿瘤分割。为此，我们提出了一种新颖的互学习（ML）策略，用于有效且鲁棒的多模态肝肿瘤分割。不同于现有通过单一模型融合不同模态信息的多模态方法，ML让一组模态专用模型协同学习并相互教导，从而提炼不同模态高层表征之间的特性与共性。所提出的ML不仅具备多模态学习的优势，还能通过将知识从已有模态迁移到缺失模态来处理模态缺失问题。此外，我们提出了一个模态感知（MA）模块，其中模态专用模型通过注意力权重相互连接并校准，以实现自适应信息交换。所提出的模态感知互学习（MAML）方法在大规模临床数据集上取得了有前景的肝肿瘤分割结果。而且，我们在肝肿瘤和公开脑肿瘤（BRATS 2018）数据集上展示了MAML处理缺失模态的有效性与鲁棒性。我们的代码可在 https://github.com/YaoZhang93/MAML 获取。
引用
@article{arxiv.2107.09842,
title = {Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation},
author = {Yao Zhang and Jiawei Yang and Jiang Tian and Zhongchao Shi and Cheng Zhong and Yang Zhang and Zhiqiang He},
journal= {arXiv preprint arXiv:2107.09842},
year = {2021}
}