图像到图像翻译是多模态图像配准的灵丹妙药吗？一项比较研究

尽管在深度学习革命的推动下生物医学图像处理领域取得了当前进展，多模态图像配准由于其若干挑战，仍常由专家手动完成。图像到图像（I2I）翻译在计算机视觉应用中的近期成功及其在生物医学领域日益增长的使用，提供了一种诱人的可能性，即将多模态配准问题转化为一个潜在更易处理的单模态问题。我们对现代 I2I 翻译方法在刚体配准多模态生物医学与医学 2D 和 3D 图像任务中的适用性进行了实证研究。我们比较了四种基于生成对抗网络（GAN）的 I2I 翻译方法与一种对比表示学习方法，随后将其与两种代表性单模态配准方法结合，以判断模态翻译对多模态图像配准的有效性。我们在四个公开可用的多模态（2D 和 3D）数据集上评估了这些方法的组合，并将其与若干直接在多模态图像数据上运行的知名方法所达成的配准性能进行比较。我们的结果表明，尽管当待配准模态明显相关时 I2I 翻译可能有帮助，但对于表达样本截然不同属性的模态，其配准并不能很好地由 I2I 翻译方法处理。所评估的表示学习方法旨在寻找模态间共享信息的抽象类图像表示，表现较好，直接在原始多模态图像上运行的互信息最大化方法同样如此。我们将完整的实验设置作为开源代码共享（https://github.com/MIDA-group/MultiRegEval）。