面向医学影像的 3D 自监督方法
计算机视觉与模式识别
2020-11-03 v3 机器学习
图像与视频处理
摘要
自监督学习方法在多个应用领域取得成功之后，近年来引起了广泛关注。在这项工作中，我们利用这些技术，提出了五种不同自监督方法的 3D 版本，以代理任务的形式呈现。我们的方法有助于从未经标注的 3D 图像中进行神经网络特征学习，旨在降低专家标注所需的成本。所开发的算法包括 3D 对比预测编码、3D 旋转预测、3D 拼图、相对 3D 块位置以及 3D 范例网络。我们的实验表明，与使用从头训练以及在 2D 切片上预训练相比，用我们的 3D 任务对模型进行预训练能够产生更强大的语义表示，并能够更准确高效地解决下游任务。我们在医学影像领域的三个下游任务上展示了我们方法的有效性：i) 基于 3D MRI 的脑肿瘤分割，ii) 基于 3D CT 的胰腺肿瘤分割，以及 iii) 基于 2D 眼底图像的糖尿病视网膜病变检测。在每个任务中，我们评估了数据效率、性能和收敛速度方面的提升。有趣的是，我们还发现将我们通过方法学到的表示从一个大型未标注 3D 语料库迁移到一个小型下游特定数据集时也有收益。我们以极少的计算开销取得了与最先进方案相竞争的结果。我们发布了所开发算法（包括 3D 和 2D 版本）的实现作为开源库，以期其他研究者能将我们的方法应用于其数据集并进行扩展。
引用
@article{arxiv.2006.03829,
title = {3D Self-Supervised Methods for Medical Imaging},
author = {Aiham Taleb and Winfried Loetzsch and Noel Danz and Julius Severin and Thomas Gaertner and Benjamin Bergner and Christoph Lippert},
journal= {arXiv preprint arXiv:2006.03829},
year = {2020}
}
备注
Proceedings of NeurIPS 2020 (Please cite the proceedings version). For source code, see https://github.com/HealthML/self-supervised-3d-tasks