稀缺数据条件下的医疗多模态分类器
机器学习
2019-02-26 v1 计算机视觉与模式识别
机器学习
摘要
数据是推动深度学习研究的基本要素之一。小型数据集，尤其是特定于医疗机构的数据集，给深度学习训练阶段带来了挑战。本工作旨在开发一种实用的深度多模态模型，该模型能够将患者准确分类为异常和正常两类，并通过定位感兴趣区域来辅助放射科医生检测视觉和文本异常。异常检测通过一种新技术实现，该技术将积分梯度方法与无监督聚类算法相结合。该技术还引入了一个调优参数，用于在检测过程中权衡真阳性信号以去除假阳性信号的噪声。为了克服仅包含3K张正面X光图像及成对医疗报告的小型训练数据集带来的挑战，我们为多模态模型采用了迁移学习，将图像和文本子模型的层进行拼接。图像子模型在庞大的ChestX-ray14数据集上训练，而文本子模型则从医院特定语料库中迁移了一个预训练的词嵌入层。实验结果表明，与单独的文本模型和图像模型相比，我们的多模态模型在50个周期的平均分类准确率分别提高了4%和7%。
引用
@article{arxiv.1902.08888,
title = {Medical Multimodal Classifiers Under Scarce Data Condition},
author = {Faik Aydin and Maggie Zhang and Michelle Ananda-Rajah and Gholamreza Haffari},
journal= {arXiv preprint arXiv:1902.08888},
year = {2019}
}