脑肿瘤分割中缺失模态的间隙问题：基于对齐的策略
图像与视频处理
2025-01-16 v1 人工智能
计算机视觉与模式识别
摘要
脑肿瘤分割通常基于多模态磁共振成像 (MRI)，但在临床实践中，某些 MRI 模态可能缺失，这种情况更为困难。为应对这一挑战，知识蒸馏已成为一种有前景的策略。然而，近期的工作通常忽视了模态之间的差距，导致在不同模态之间学习不变特征表示的能力受限。这种缺陷随后导致教师和学生的性能受限。为改善这些问题，本文提出了一种新范例，将涉及的模态的潜在特征对齐到一个明确定义的分布锚点上。作为主要贡献，我们证明了我们新颖的训练范例确保了紧密的证据下界，从而理论上确认了其有效性。在不同 backbone 上进行大量实验验证，我们证明提出的范例能够实现不变特征表示，并产生一个模态间隙缩小的教师。这进一步为缺失模态学生提供了优越的指导，平均 dice 分数提升 1.75。
引用
@article{arxiv.2409.19366,
title = {Mind the Gap: Promoting Missing Modality Brain Tumor Segmentation with Alignment},
author = {Tianyi Liu and Zhaorui Tan and Haochuan Jiang and Xi Yang and Kaizhu Huang},
journal= {arXiv preprint arXiv:2409.19366},
year = {2025}
}