Atlas-ISTN：基于图像与空间 Transformer 网络的联合分割、配准与图谱构建
图像与视频处理
2020-12-22 v1 计算机视觉与模式识别
摘要
用于语义分割的深度学习模型能够学习强大的像素级预测表示，但在测试时对噪声敏感且无法保证合理的拓扑结构。另一方面，图像配准模型能够将已知拓扑形变至目标图像以实现分割，但通常需要大量训练数据，且尚未与像素级分割模型进行广泛基准比较。我们提出 Atlas-ISTN，一种在 2D 和 3D 图像数据上联合学习分割与配准、并在此过程中构建群体衍生图谱的框架。Atlas-ISTN 学习分割多个感兴趣结构，并将构建的、拓扑一致的图谱标签图配准到中间像素级分割结果。此外，Atlas-ISTN 允许在测试时细化模型参数，以优化图谱标签图与中间像素级分割的对齐。该过程既缓解了目标图像中噪声导致的虚假像素级预测，又改进了模型的一次性预测。Atlas-ISTN 框架的优势在 2D 合成数据及 3D 心脏计算机断层扫描与脑磁共振图像数据上得到了定性与定量展示，优于分割与配准基线模型。Atlas-ISTN 还提供感兴趣结构的受试者间对应，支持群体水平的形状与运动分析。
引用
@article{arxiv.2012.10533,
title = {Atlas-ISTN: Joint Segmentation, Registration and Atlas Construction with Image-and-Spatial Transformer Networks},
author = {Matthew Sinclair and Andreas Schuh and Karl Hahn and Kersten Petersen and Ying Bai and James Batten and Michiel Schaap and Ben Glocker},
journal= {arXiv preprint arXiv:2012.10533},
year = {2020}
}
备注
33 pages, 15 figures