vox2vec：一种用于医学图像体素级表示自监督对比学习的框架
计算机视觉与模式识别
2023-07-28 v1
摘要
本文介绍 vox2vec——一种用于体素级表示自监督学习（SSL）的对比方法。vox2vec 表示由特征金字塔网络（FPN）建模：一个体素表示是来自不同金字塔层对应特征向量的拼接。该 FPN 经过预训练，以对不同增强上下文中同一体素产生相似表示，对不同体素产生相异表示。这得到了统一的多尺度表示，可同时捕获全局语义（如身体部位）与局部语义（如不同小器官或健康与肿瘤组织）。我们使用 vox2vec 在超过 6500 张公开可用的计算机断层扫描图像上预训练一个 FPN。我们通过在其上连接简单头并训练所得模型用于 22 个分割任务来评估预训练表示。我们表明 vox2vec 在三种评估设定下优于现有医学影像 SSL 技术：线性与非线性探测以及端到端微调。此外，在冻结的 vox2vec 表示上训练的非线性头取得了与从头训练的 FPN 相竞争的性能，而可训练参数少 50 倍。代码可在 https://github.com/mishgon/vox2vec 获取。
引用
@article{arxiv.2307.14725,
title = {vox2vec: A Framework for Self-supervised Contrastive Learning of Voxel-level Representations in Medical Images},
author = {Mikhail Goncharov and Vera Soboleva and Anvar Kurmukov and Maxim Pisov and Mikhail Belyaev},
journal= {arXiv preprint arXiv:2307.14725},
year = {2023}
}
备注
MICCAI 2023