用于改进乳腺 X 线摄影癌症检测的深度 BI-RADS 网络
计算机视觉与模式识别
2024-11-19 v1
摘要
虽然最先进的乳腺癌检测模型利用多视图乳腺 X 线摄影来提高诊断准确性，但它们通常仅关注视觉乳腺 X 线摄影数据。然而，放射科医生记录了包含额外信息的宝贵病变描述符，这些信息可以增强基于乳腺 X 线摄影的乳腺癌筛查。一个关键问题是深度学习模型能否从这些专家衍生的特征中受益。为了解决这个问题，我们引入了一种新颖的多模态方法，将文本 BI-RADS 病变描述符与视觉乳腺 X 线摄影内容相结合。我们的方法采用迭代注意力层来有效融合这些不同的模态，与仅使用图像的模型相比，显著提高了分类性能。在 CBIS-DDSM 数据集上的实验表明，所有指标都有显著提升，证明了手工特征对端到端模型的贡献。
引用
@article{arxiv.2411.10894,
title = {Deep BI-RADS Network for Improved Cancer Detection from Mammograms},
author = {Gil Ben-Artzi and Feras Daragma and Shahar Mahpod},
journal= {arXiv preprint arXiv:2411.10894},
year = {2024}
}