PCRLv2：一种用于医学图像分析自监督预训练的统一视觉信息保持框架
计算机视觉与模式识别
2023-01-03 v1 机器学习
摘要
计算机视觉中自监督学习（SSL）的最新进展主要是对比式的，其目标是通过比较孪生图像视图来在潜在表示中保持不变且可判别的语义。然而，所保持的高层语义不包含足够的局部信息，而这在医学图像分析（例如基于图像的诊断和肿瘤分割）中至关重要。为缓解对比式 SSL 的局部性问题，我们提出引入像素重建任务，以将更多像素级信息显式编码到高层语义中。我们还解决了尺度信息的保持问题，尺度信息是辅助图像理解的有力工具，但在 SSL 中未受太多关注。所得框架可表述为特征金字塔上的多任务优化问题。具体而言，我们在金字塔中进行多尺度像素重建与孪生特征比较。此外，我们提出非跳跃 U-Net 来构建特征金字塔，并开发子裁剪以替代 3D 医学成像中的多裁剪。所提出的统一 SSL 框架（PCRLv2）在包括脑肿瘤分割（BraTS 2018）、胸部病理识别（ChestX-ray、CheXpert）、肺结节检测（LUNA）和腹部器官分割（LiTS）在内的多种任务上超越了其自监督同类方法，有时在有限标注下以较大优势优于它们。
引用
@article{arxiv.2301.00772,
title = {PCRLv2: A Unified Visual Information Preservation Framework for Self-supervised Pre-training in Medical Image Analysis},
author = {Hong-Yu Zhou and Chixiang Lu and Chaoqi Chen and Sibei Yang and Yizhou Yu},
journal= {arXiv preprint arXiv:2301.00772},
year = {2023}
}
备注
Accepted by IEEE TPAMI. Codes and pre-trained models are available at \url{https://github.com/RL4M/PCRLv2}