基于超声和临床数据的多模态深度学习叶素瘤分类
计算机视觉与模式识别
2025-09-26 v2 人工智能
摘要
叶素瘤（PT）是罕见的纤维肌瘤性乳腺病变，因其放射学特征与良性纤肠瘤相似，在手术前难以进行准确分类，往往导致不必要的手术切除。为此，我们提出一种多模态深度学习框架，将乳腺超声（BUS）图像与结构化临床数据相结合，以提高诊断准确性。我们开发了一个双支架神经网络，从81例确诊PT的患者处提取并融合超声图像和患者元数据。应用类别感知抽样和受试者分层5折交叉验证，以防止类别不平衡和数据泄漏。结果表明，我们的方法在分类良性与疑似/恶性PT方面优于单模态基线方法。在六种图像编码器中，ConvNeXt 和 ResNet18 在多模态设置下取得最佳性能，其 AUC-ROC 分别为0.9427和0.9349，F1 分别为0.6720和0.7294。该研究表明，多模态人工智能有望作为一种无创诊断工具，以减少不必要的活检，改进乳腺肿瘤管理中的临床决策。
引用
@article{arxiv.2509.00213,
title = {Multimodal Deep Learning for Phyllodes Tumor Classification from Ultrasound and Clinical Data},
author = {Farhan Fuad Abir and Abigail Elliott Daly and Kyle Anderman and Tolga Ozmen and Laura J. Brattain},
journal= {arXiv preprint arXiv:2509.00213},
year = {2025}
}
备注
IEEE-EMBS International Conference on Body Sensor Networks (IEEE-EMBS BSN 2025)