不可描述多模态空间评估器
计算机视觉与模式识别
2023-03-03 v2 图像与视频处理
摘要
多模态图像配准将两幅具有不同分布的图像进行空间对齐。其主要挑战之一是，从不同成像设备获取的图像具有不同的成像分布，使得难以仅关注图像的空间方面而忽略分布差异。在本研究中，我们开发了一种自监督方法——不可描述多模型空间评估器（IMSE），以解决多模态图像配准问题。IMSE 创建了一个准确的多模态空间评估器来度量两幅图像间的空间差异，并通过最小化评估器预测误差来优化配准。为优化 IMSE 性能，我们还提出了一种称为 Shuffle Remap 的新风格增强方法，其将图像分布随机化为多个片段，然后随机打乱并重新映射这些片段，从而改变原始图像的分布。Shuffle Remap 可帮助 IMSE 从未见过的目标分布中预测空间位置差异。我们的结果表明，在使用 T1-T2 和 CT-MRI 数据集的配准中，IMSE 优于现有方法。IMSE 也可轻松集成到传统配准流程中，并能提供便捷的配准结果评估与可视化方式。IMSE 还有潜力用作图像到图像翻译的新范式。我们的代码可在 https://github.com/Kid-Liet/IMSE 获取。
引用
@article{arxiv.2303.00369,
title = {Indescribable Multi-modal Spatial Evaluator},
author = {Lingke Kong and X. Sharon Qi and Qijin Shen and Jiacheng Wang and Jingyi Zhang and Yanle Hu and Qichao Zhou},
journal= {arXiv preprint arXiv:2303.00369},
year = {2023}
}
备注
Accepted by CVPR2023