BB-GCN：一种用于多标签胸部 X 光识别的双模态桥接图卷积网络
计算机视觉与模式识别
2023-02-23 v1
摘要
多标签胸部 X 光（CXR）识别涉及同时诊断并识别不同病理的多个标签。由于病理标签彼此间具有丰富的关联信息，建模病理标签间的共现依赖关系对提升识别性能至关重要。然而，先前方法依赖于面向状态变量编码与注意力机制来建模局部标签信息，缺乏对标签间全局共现关系的学习。此外，这些方法粗略地整合图像特征与标签嵌入，忽略了跨模态向量融合中的对齐与紧凑性问题。为解决这些问题，提出一种双模态桥接图卷积网络（BB-GCN）模型。该模型主要由骨干模块、病理标签共现关系嵌入（LCE）模块以及 Transformer 桥接图（TBG）模块构成。具体而言，骨干模块获取图像视觉特征表示。LCE 模块利用图建模多标签间的全局共现关系，并采用图卷积网络进行学习推理。TBG 模块通过 GroupSum 方法更紧凑高效地桥接跨模态向量。我们在两个大规模 CXR 数据集（ChestX-Ray14 与 CheXpert）上评估了所提 BB-GCN 的有效性。我们的模型取得了最先进的性能：14 种病理的平均 AUC 分数分别为 0.835 与 0.813。所提 LCE 与 TBG 模块能联合有效提升 BB-GCN 的识别性能。我们的模型在多标签胸部 X 光识别中也取得令人满意的结果，并展现出极具竞争力的泛化性能。
引用
@article{arxiv.2302.11082,
title = {BB-GCN: A Bi-modal Bridged Graph Convolutional Network for Multi-label Chest X-Ray Recognition},
author = {Guoli Wang and Pingping Wang and Jinyu Cong and Kunmeng Liu and Benzheng Wei},
journal= {arXiv preprint arXiv:2302.11082},
year = {2023}
}
备注
under Computers in Biology and Medicine submission