通过结构化语义一致性学习实现未配对多模态医学图像分割
计算机视觉与模式识别
2023-05-02 v3
摘要
整合多模态数据以促进医学图像分析近来备受关注。本文提出一种新方案，学习不同模态的互补优势，从而为未配对多模态医学图像获得更好的分割结果。我们的方法从实际角度解决了该任务的两个关键问题：（1）如何有效学习各模态（如 CT 和 MRI）的语义一致性，（2）如何在保持网络简洁的同时利用上述一致性正则化网络学习。针对（1），我们利用精心设计的外部注意力模块（EAM）对齐不同模态的语义类别表示及其关联。为解决（2），所提 EAM 被设计为外部即插即用模块，一旦模型优化完成便可丢弃。我们在两种医学图像分割场景下验证了所提方法的有效性：（1）心脏结构分割，（2）腹部多器官分割。大量结果表明，所提方法大幅优于同类方法。
引用
@article{arxiv.2206.10571,
title = {Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency},
author = {Jie Yang and Ye Zhu and Chaoqun Wang and Zhen Li and Ruimao Zhang},
journal= {arXiv preprint arXiv:2206.10571},
year = {2023}
}
备注
MIDL23