DD_RoTIR: Dual-Domain Image Registration via Image Translation and Hierarchical Feature-matching

来自多个摄像头镜头或传感器的显微镜图像为从多样化视角理解目标提供了全面视角。然而，使用多个显微镜 setup 会增加相同目标特征在不同模态之间的错位风险，使得多模态图像注册至关重要。本文构建于前人在生物学图像 translation (XAcGAN) 和单模态图像注册 (RoTIR) 上的成功经验基础，开发了一种深度学习模型 Dual-Domain RoTIR (DD_RoTIR)，专为解决这些挑战而设计。尽管 GAN-based translation 模型常被认为不适用于多模态图像注册，但我们通过采用基于 Transformer 和 rotation equivariant networks 的 feature-matching algorithm 来提升注册精度。此外，利用层次 feature matching 来处理多模态图像注册的复杂性。我们的结果表明，DD_RoTIR 模型在多个显微镜图像数据集上表现出强大的适用性和鲁健性。