多模态超声中乳腺癌分类的自动加权方法
图像与视频处理
2020-08-11 v1 计算机视觉与模式识别
机器学习
摘要
乳腺癌是女性中最常见的浸润性癌症。除了主要的 B 超筛查外，超声医师还探索引入多普勒、应变和剪切波弹性成像以推进诊断。然而，识别所有类型图像中的有用模式并权衡各模态的重要性，可能难住经验较少的临床医生。本文首次探索了一种自动融合四类超声成像以区分乳腺良恶性结节的方法。我们提出了一种新颖的多模态网络，具有良好的可学习性与简洁性，以提高分类准确率。其关键在于采用权重共享策略以促进模态间交互，并引入额外的跨模态目标来整合全局信息。与在模型中硬编码各模态权重不同，我们将其嵌入强化学习(Reinforcement Learning)框架中，以端到端方式学习该加权。因此，模型无需手工启发式规则即可寻求最优多模态组合。所提框架在一个包含 1616 组多模态图像的数据集上进行了评估。结果显示，模型取得了 95.4% 的高分类准确率，表明所提方法的有效性。
引用
@article{arxiv.2008.03435,
title = {Auto-weighting for Breast Cancer Classification in Multimodal Ultrasound},
author = {Wang Jian and Miao Juzheng and Yang Xin and Li Rui and Zhou Guangquan and Huang Yuhao and Lin Zehui and Xue Wufeng and Jia Xiaohong and Zhou Jianqiao and Huang Ruobing and Ni Dong},
journal= {arXiv preprint arXiv:2008.03435},
year = {2020}
}
备注
Early Accepted by MICCAI 2020