用于全身医学影像的自监督多模态对齐
计算机视觉与模式识别
2021-08-09 v2
摘要
本文探讨了在同一受试者有两种扫描模态可用的情况下，自监督深度学习在医学影像中的使用。具体而言，我们使用来自 UK Biobank 的超过 20,000 名受试者的公开大型数据集，其同时具有全身 Dixon 技术磁共振（MR）扫描和双能 X 射线吸收测定法（DXA）扫描。我们做出了三点贡献：（i）我们引入了一个多模态图像匹配对比框架，能够高精度地学习匹配同一受试者的不同模态扫描。（ii）无需任何适配，我们展示了在此对比训练阶段学到的对应关系可用于以完全无监督的方式执行自动跨模态扫描配准。（iii）最后，我们利用这些配准将分割图从 DXA 扫描转移到 MR 扫描，并用于训练网络分割解剖区域，而无需真实的 MR 样本。为促进进一步研究，我们的代码将公开提供。
引用
@article{arxiv.2107.06652,
title = {Self-Supervised Multi-Modal Alignment for Whole Body Medical Imaging},
author = {Rhydian Windsor and Amir Jamaludin and Timor Kadir and Andrew Zisserman},
journal= {arXiv preprint arXiv:2107.06652},
year = {2021}
}
备注
Accepted as a full paper to MICCAI 2021. Code will be made publicly available before September 27th 2021