MoCo-CXR：MoCo 预训练提升胸部 X 光模型的表征与可迁移性
计算机视觉与模式识别
2021-05-19 v3 人工智能
机器学习
摘要
对比学习是一种自监督形式，可利用无标签数据生成预训练模型。虽然对比学习在自然图像分类任务上已展现出有前景的结果，但其在胸部 X 光解读等医学影像任务中的应用仍有限。在这项工作中，我们提出 MoCo-CXR，它是对比学习方法动量对比（MoCo）的改进版本，用于生成具有更好表征和初始化的模型，以检测胸部 X 光中的病变。在检测胸腔积液时，我们发现基于 MoCo-CXR 预训练表征训练的线性模型优于未使用 MoCo-CXR 预训练表征的模型，表明 MoCo-CXR 预训练表征质量更高。端到端微调实验显示，通过 MoCo-CXR 预训练初始化的模型优于未经过 MoCo-CXR 预训练的对应模型。我们发现 MoCo-CXR 预训练在有限标注训练数据下收益最大。最后，我们在预训练期间未见的靶标结核病数据集上展示了类似结果，表明 MoCo-CXR 预训练赋予模型的表征和可迁移性可跨胸部 X 光数据集与任务应用。
引用
@article{arxiv.2010.05352,
title = {MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models},
author = {Hari Sowrirajan and Jingbo Yang and Andrew Y. Ng and Pranav Rajpurkar},
journal= {arXiv preprint arXiv:2010.05352},
year = {2021}
}
备注
Accepted at Medical Imaging with Deep Learning (MIDL) Conference 2021