基于掩码记录建模推进 X 光片表示学习
计算机视觉与模式识别
2023-02-16 v2 计算与语言
机器学习
摘要
现代 X 光片表示学习研究要么依赖自监督来编码不变语义，要么利用关联的放射学报告以融入医学专业知识，而二者之间的互补性几乎未被注意到。为探索这一点，我们将自补全与报告补全表述为两个互补目标，并提出了基于掩码记录建模（MRM）的统一框架。在实践中，MRM 遵循多任务方案重建掩码图像块与掩码报告词元，以学习知识增强的语义表示。通过 MRM 预训练，我们获得可良好迁移至各类放射成像任务的预训练模型。具体而言，我们发现 MRM 在标签高效微调中提供优越性能。例如，MRM 使用 1% 标注数据在 CheXpert 上达到 88.5% 平均 AUC，优于使用 100% 标签的先前 RL 方法。在 NIH ChestX-ray 上，MRM 在小标注比例下以约 3% 优势超越性能最佳的同类方法。此外，MRM 在识别肺炎类型与气胸区域上超越自监督与报告监督预训练，有时优势明显。
引用
@article{arxiv.2301.13155,
title = {Advancing Radiograph Representation Learning with Masked Record Modeling},
author = {Hong-Yu Zhou and Chenyu Lian and Liansheng Wang and Yizhou Yu},
journal= {arXiv preprint arXiv:2301.13155},
year = {2023}
}
备注
Camera ready at ICLR 2023. Code and models are available at https://github.com/RL4M/MRM-pytorch