用于分割和信号混合的无配对图像到图像转换

本工作引入 Ui2i，一种用于无配对图像到图像转换的新型模型，在内容层面上进行无配对数据集训练，以实现跨域的风格迁移，同时保持内容完整。基于 CycleGAN，Ui2i 融合了关键修改，以更好地解耦内容和风格特征，保持内容完整性。具体而言，Ui2i 采用带有 skip 连接的 U-Net 结构生成器，以将局部浅层特征深入传递到生成器内部。Ui2i 移除了所有模块中的基于特征的归一化层，并用近似双向谱归一化取而代之——一种基于参数的替代方案，可增强训练稳定性。为进一步支持内容保留，集成了通道注意力和空间注意力机制到生成器中。通过图像尺度增强来促进训练。在两个生物医学任务上进行的评估——免疫组织化学（IHC）图像中核分割的领域适应和单通道免疫荧光（IF）图像中叠加生物结构的解混合——表明 Ui2i 能够在那些需要比典型转换任务更准确结构保持的setting下保持内容忠实。据我们了解，Ui2i 是首个能够使用真实无配对训练数据的 IF 图像中分离叠加信号的方法。