基于神经风格迁移与无配对图像到图像翻译解决球体分割中的域偏移问题
计算机视觉与模式识别
2022-07-28 v2 机器学习
图像与视频处理
摘要
背景与目标。域偏移是机器学习模型的一种泛化问题，当训练集的数据分布与模型部署时遇到的数据分布不同时就会发生。由于实验条件、设备和采集设置的差异，这在生物医学图像分割中很常见。在本研究中，我们通过研究肿瘤球体分割背景下的神经风格迁移算法和无配对图像到图像翻译方法来解决这一挑战。方法。我们在球体分割背景下阐明了域偏移问题，使用了 4 种深度学习分割模型，这些模型在遵循训练分布的图像上进行测试时，IoU 超过 97%，但在应用于不同条件下采集的图像时，性能下降至 84%。为了解决这一问题，我们探索了 3 种风格迁移算法（NST、deep image analogy 和 STROTSS）以及 6 种无配对图像到图像翻译算法（CycleGAN、DualGAN、ForkGAN、GANILLA、CUT 和 FastCUT）。这些算法已被集成到一个高级 API 中，以促进其应用于发生域偏移问题的其他场景。结果。通过使用风格迁移和图像到图像翻译算法，我们在应用于不同条件下采集的图像时，显著提升了 4 种分割模型的性能。具体而言，有 2 种风格迁移算法（NST 和 deep image analogy）和 1 种无配对图像到图像翻译算法（CycleGAN）将模型的 IoU 提高了 0.24 至 76.07 的范围。因此，达到了与模型应用于遵循训练分布的图像时所获得的相似性能。
关键词
引用
@article{arxiv.2112.09043,
title = {Neural Style Transfer and Unpaired Image-to-Image Translation to deal with the Domain Shift Problem on Spheroid Segmentation},
author = {Manuel García-Domínguez and César Domínguez and Jónathan Heras and Eloy Mata and Vico Pascual},
journal= {arXiv preprint arXiv:2112.09043},
year = {2022}
}