基于几何保持图像到图像翻译的无监督多模态图像配准
计算机视觉与模式识别
2020-03-19 v1
摘要
许多应用（如自动驾驶）严重依赖多模态数据，且模态间需要空间对齐。大多数多模态配准方法在利用流行的跨模态相似性度量计算图像间空间对应时面临困难。在本工作中，我们通过在两个输入模态上训练图像到图像翻译网络，绕过了开发跨模态相似性度量的难题。这种学习到的翻译允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络——空间变换网络与翻译网络——进行多模态配准。我们表明，通过鼓励翻译网络保持几何结构，我们得以训练出准确空间变换网络。与最先进的多模态方法相比，我们提出的方法是无监督的，无需成对的已对齐模态用于训练，且可适配任意模态对。我们在商业数据集上定量与定性地评估了我们的方法，表明其在多种模态上表现良好并实现了精确对齐。
引用
@article{arxiv.2003.08073,
title = {Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation},
author = {Moab Arar and Yiftach Ginger and Dov Danon and Ilya Leizerson and Amit Bermano and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2003.08073},
year = {2020}
}