用于胸片疾病分类的多标签广义零样本学习
计算机视觉与模式识别
2021-07-15 v1
摘要
尽管深度神经网络在胸部 X 光（CXR）诊断中取得成功，监督学习仅允许预测训练期间所见过的疾病类别。在推理时，这些网络无法预测未见过的疾病类别。引入新类别需要收集标注数据，这并非易事，尤其对于较少发生的疾病。因此，构建一个可诊断所有可能疾病类别的模型变得难以想象。在此，我们提出一种多标签广义零样本学习（CXR-ML-GZSL）网络，可同时预测 CXR 图像中多个已见与未见的疾病。给定输入图像，CXR-ML-GZSL 学习由从丰富医学文本语料库提取的对应语义所引导的视觉表示。为实现这一宏大目标，我们提出使用一种新颖学习目标将视觉与语义两种模态映射到潜在特征空间。该目标确保（i）查询图像最相关的标签排序高于不相关标签，（ii）网络学习到与其语义在潜在特征空间对齐的视觉表示，以及（iii）映射后的语义保持原有的类间表示。该网络端到端可训练，且无需为离线特征提取器进行独立预训练。在 NIH Chest X-ray 数据集上的实验表明，我们的网络在召回率、精确率、f1 分数与受试者工作特征曲线下面积方面优于两个强基线。我们的代码公开于：https://github.com/nyuad-cai/CXR-ML-GZSL.git
引用
@article{arxiv.2107.06563,
title = {Multi-Label Generalized Zero Shot Learning for the Classification of Disease in Chest Radiographs},
author = {Nasir Hayat and Hazem Lashen and Farah E. Shamout},
journal= {arXiv preprint arXiv:2107.06563},
year = {2021}
}
备注
Accepted to the Machine Learning for Healthcare Conference 2021