合成即配准 (SbR)：用于配对图像基于合成配准的对比学习
计算机视觉与模式识别
2023-01-30 v3 机器学习
图像与视频处理
摘要
非线性跨模态配准通常具有挑战性，因为缺乏能良好表征对齐程度的目标函数。本文提出一种合成即配准方法，将该问题转化为更简单的同模态任务。我们引入一种用于域间弱监督图像翻译的配准损失，其不需要完美对齐的训练数据。该损失利用权重冻结的配准 U-Net，驱动合成 CNN 朝向期望的翻译。我们以基于对比学习的保结构约束补充该损失，防止由于过拟合导致的模糊与内容偏移。我们将此方法应用于组织学切片与 MRI 切片的配准，这是三维组织学重建中的关键步骤。在两个不同公开数据集上的结果表明，相比基于互信息的配准（标志点误差降低 13%）和基于合成的方法如 CycleGAN（降低 11%）有所改进，并与带标签监督的配准 CNN 相当。代码与数据公开于 \url{https://github.com/acasamitjana/SynthByReg}。
引用
@article{arxiv.2107.14449,
title = {Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images},
author = {Adrià Casamitjana and Matteo Mancini and Juan Eugenio Iglesias},
journal= {arXiv preprint arXiv:2107.14449},
year = {2023}
}
备注
Best paper award in Simulation and Synthesis in Medical Imaging (SASHIMI) workshop