BioGAN：一种基于无配对 GAN 的微生物图像图像到图像翻译模型
图像与视频处理
2023-06-13 v1 计算机视觉与模式识别
摘要
多样化的数据集对于训练泛化良好的有监督计算机视觉算法至关重要。然而在微生物学领域，生成并标注包含实地拍摄图像在内的多样化数据集耗时、昂贵，且在某些情况下不可能实现。图像到图像翻译框架允许我们通过将图像从一个域迁移到另一个域来丰富数据集。但现有多数图像翻译技术需要配对数据集（原始图像及其在目标域中的对应图像），这为收集此类数据集带来重大挑战。此外，这些图像翻译框架在微生物学中的应用鲜有讨论。本研究旨在开发一种基于无配对 GAN（Generative Adversarial Network，生成对抗网络）的微生物图像图像到图像翻译模型，并探究其如何提升目标检测模型的泛化能力。本文提出一种无配对、无监督的图像翻译模型，基于近期 GAN 网络与感知损失（Perceptual loss）函数的进展，将实验室拍摄的微生物图像翻译为野外图像。我们通过结合对抗损失与感知损失提出一种新颖的 GAN 模型设计 BioGAN，在保留空间特征的同时将实验室图像的高层特征转换为野外图像。研究了对抗损失与感知损失在生成逼真野外图像中的作用。我们利用 BioGAN 生成的合成野外图像训练目标检测框架，并与使用实验室图像训练的框架对比，F1-score 与 mAP 分别提升达 68.1% 和 75.3%。代码公开于 https://github.com/Kahroba2000/BioGAN。
引用
@article{arxiv.2306.06217,
title = {BioGAN: An unpaired GAN-based image to image translation model for microbiological images},
author = {Saber Mirzaee Bafti and Chee Siang Ang and Gianluca Marcelli and Md. Moinul Hossain and Sadiya Maxamhud and Anastasios D. Tsaousis},
journal= {arXiv preprint arXiv:2306.06217},
year = {2023}
}