利用断层切片顺序作为神经网络预训练的先验
图像与视频处理
2022-03-18 v1 计算机视觉与模式识别
摘要
计算机断层扫描（CT）的技术进步使得获取海量 3D 数据成为可能。对于此类数据集，获取准确的 3D 分割标注以训练神经网络极为昂贵且耗时。标注通常仅针对有限数量的 2D 切片进行，随后通过插值补全。在本工作中，我们提出一种预训练方法 SortingLoss。它在切片而非体素上进行预训练，使得模型可在稀疏切片集上微调，无需插值步骤。与通用方法（如 SimCLR 或 Barlow Twins）不同，任务特定方法（如 Transferable Visual Words）通过对输入数据施加更强假设来以广泛适用性换取质量收益。我们提出一个相对温和的假设——若沿某体素轴取若干切片，这些切片上样本所呈现的结构应给出强烈线索以重建切片沿该轴的正确顺序。许多生物医学数据集因样本的特定解剖结构和成像装置预定义的对齐而满足此要求。我们在两个数据集上检验了所提方法：受 COVID-19 疾病影响的医学肺部 CT，以及基于同步辐射的模型生物（青鳉鱼）高分辨率全身 CT。我们表明所提方法与 SimCLR 性能相当，同时快 2 倍且少耗 1.5 倍内存。此外，我们展示了在实际场景中的益处，特别是对大型模型预训练的适用性以及在无监督设置下定位体素中样本的能力。
引用
@article{arxiv.2203.09372,
title = {Using the Order of Tomographic Slices as a Prior for Neural Networks Pre-Training},
author = {Yaroslav Zharov and Alexey Ershov and Tilo Baumbach and Vincent Heuveline},
journal= {arXiv preprint arXiv:2203.09372},
year = {2022}
}
备注
Under review