模态缺失下的多模态学习在预测腋窝淋巴结转移中的应用
图像与视频处理
2024-01-04 v1 计算机视觉与模式识别
摘要
多模态学习在医学图像分析中引起了广泛关注。使用多模态数据，即全切片图像（WSI）和临床信息，可以提高深度学习模型在腋窝淋巴结转移诊断中的性能。然而，由于隐私问题、资源有限、缺乏互操作性等原因，临床信息在临床实践中不易收集。尽管患者选择可以确保训练集拥有多模态数据用于模型开发，但在测试时可能出现临床信息模态缺失。这通常会导致性能下降，限制了多模态模型在临床中的应用。为了缓解这一问题，我们提出了一个双向蒸馏框架，包含一个多模态分支和一个单模态分支。单模态分支从多模态分支获取完整的多模态知识，而多模态分支则从单模态分支学习WSI的鲁棒特征。我们在早期乳腺癌淋巴结转移的公共数据集上进行了实验以验证该方法。我们的方法不仅在无缺失数据的测试集上取得了最先进的性能（AUC为0.861），而且在模态缺失率达到80%时仍能达到0.842的AUC。这表明了该方法在处理多模态数据和模态缺失方面的有效性。这样的模型有潜力改善腋窝淋巴结转移状态的早期乳腺癌患者的治疗决策。
引用
@article{arxiv.2401.01553,
title = {Multi-modal Learning with Missing Modality in Predicting Axillary Lymph Node Metastasis},
author = {Shichuan Zhang and Sunyi Zheng and Zhongyi Shui and Honglin Li and Lin Yang},
journal= {arXiv preprint arXiv:2401.01553},
year = {2024}
}