UniMiSS：通过打破维度壁垒的通用医学自监督学习
计算机视觉与模式识别
2022-08-17 v2
摘要
自监督学习（SSL）为以缺乏标注而著称的医学图像分析带来了巨大机遇。然而，由于成像成本高和隐私限制，聚合海量（未标注）三维医学图像（如计算机断层扫描（CT））仍然具有挑战性。本文主张引入大量二维图像（如胸部X光片）以补偿三维数据的不足，旨在构建一个称为UniMiSS的通用医学自监督表示学习框架。接下来的问题是如何打破维度壁垒，即如何实现利用二维和三维图像同时进行SSL？为此，我们设计了一个金字塔U形医学Transformer（MiT）。它由可切换补丁嵌入（SPE）模块和Transformer组成。SPE模块根据输入维度自适应地切换为二维或三维补丁嵌入。嵌入的补丁被转换为序列，而不受其原始维度影响。Transformer以序列到序列的方式建模长期依赖关系，从而使UniMiSS能够从二维和三维图像中学习表示。以MiT为骨干网络，我们以自蒸馏方式执行UniMiSS。我们在六项三维/二维医学图像分析任务（包括分割和分类）上进行了大量实验。结果表明，所提出的UniMiSS在各种下游任务上取得了有前景的性能，大幅优于ImageNet预训练和其他先进的SSL方法。代码见 \def\UrlFont{\rm\small\ttfamily} \url{https://github.com/YtongXie/UniMiSS-code}。
引用
@article{arxiv.2112.09356,
title = {UniMiSS: Universal Medical Self-Supervised Learning via Breaking Dimensionality Barrier},
author = {Yutong Xie and Jianpeng Zhang and Yong Xia and Qi Wu},
journal= {arXiv preprint arXiv:2112.09356},
year = {2022}
}
备注
Accepted by ECCV 2022