基于成对非对齐训练数据的形变等变跨模态图像合成
计算机视觉与模式识别
2023-10-02 v2 机器学习
图像与视频处理
摘要
跨模态图像合成是一个活跃的研究课题，具有多种医学临床相关应用。近来，允许使用成对但未对齐数据进行训练的方法开始涌现。然而，尚不存在适用于广泛真实世界数据集的鲁棒且性能良好的方法。本工作中，我们通过对齐但非对齐数据的跨模态图像合成问题提出一种通用解决方案，引入了新的形变等变鼓励损失函数。该方法由图像合成网络与独立配准网络联合训练组成，并允许即便在数据为未对齐情况下也能以输入为条件进行对抗训练。该工作通过实现对更困难数据集的跨模态图像合成网络轻松训练，降低了新临床应用门槛。
引用
@article{arxiv.2208.12491,
title = {Deformation equivariant cross-modality image synthesis with paired non-aligned training data},
author = {Joel Honkamaa and Umair Khan and Sonja Koivukoski and Mira Valkonen and Leena Latonen and Pekka Ruusuvuori and Pekka Marttinen},
journal= {arXiv preprint arXiv:2208.12491},
year = {2023}
}