基于条件可逆神经网络的无监督域迁移
图像与视频处理
2024-01-17 v1 计算机视觉与模式识别
机器学习
摘要
合成医学图像生成已发展为神经网络训练与验证的一项关键技术。然而，一个核心挑战仍在于仿真与真实数据之间的域差距。尽管基于深度学习的域迁移使用 Cycle Generative Adversarial Networks（CycleGAN）及类似架构在该领域取得了实质性进展，但在某些用例中，最先进的方法仍无法生成能在相关下游任务上产生令人信服结果的训练图像。在此，我们通过一种基于条件可逆神经网络（cINNs）的域迁移方法来解决此问题。作为一个特殊优势，我们的方法凭借其可逆架构天然保证循环一致性，且网络训练可通过最大似然训练高效进行。为展示我们方法的通用适用性，我们将其应用于两种不同尺度的光谱成像模态，即高光谱成像（像素级）与光声断层成像（图像级）。根据综合实验，我们的方法能够生成真实的光谱数据，并在两项下游分类任务（二分类与多分类）上优于最先进水平。因此，基于 cINN 的域迁移可发展为光谱成像及更广领域中真实合成数据生成的重要方法。
引用
@article{arxiv.2303.10191,
title = {Unsupervised Domain Transfer with Conditional Invertible Neural Networks},
author = {Kris K. Dreher and Leonardo Ayala and Melanie Schellenberg and Marco Hübner and Jan-Hinrich Nölke and Tim J. Adler and Silvia Seidlitz and Jan Sellner and Alexander Studier-Fischer and Janek Gröhl and Felix Nickel and Ullrich Köthe and Alexander Seitel and Lena Maier-Hein},
journal= {arXiv preprint arXiv:2303.10191},
year = {2024}
}