对比跨模态预训练：一种小样本医学影像的通用策略
机器学习
2022-01-31 v5 计算与语言
计算机视觉与模式识别
图像与视频处理
摘要
针对给定医学影像任务训练神经网络时，一个关键挑战往往是难以获得足够数量的手动标注样本。相比之下，文本影像报告通常在医疗记录中 readily available，其中包含专家作为标准临床实践一部分所撰写的丰富但非结构化的解读。我们提议将这些文本报告作为一种弱监督形式，以提升神经网络的图像解读性能，而无需额外的手动标注样本。我们使用图文匹配任务来训练特征提取器，然后在迁移学习设置中使用小型标注数据集对其进行微调以用于监督任务。最终得到一个在推理时无需文本报告即可自动解读影像的神经网络。该方法可应用于任何图文对 readily available 的任务。我们在三项分类任务上评估了我们的方法，发现性能得到一致提升，将标注数据的需求减少了 67%–98%。
引用
@article{arxiv.2010.03060,
title = {Contrastive Cross-Modal Pre-Training: A General Strategy for Small Sample Medical Imaging},
author = {Gongbo Liang and Connor Greenwell and Yu Zhang and Xiaoqin Wang and Ramakanth Kavuluru and Nathan Jacobs},
journal= {arXiv preprint arXiv:2010.03060},
year = {2022}
}
备注
This work is accepted to the IEEE Journal of Biomedical and Health Informatics