BiOcularGAN：眼部图像的双模态合成与标注
计算机视觉与模式识别
2022-12-09 v3 机器学习
摘要
当前最先进的眼部图像分割技术严重依赖于大规模标注数据集，这类数据集的收集费时费力且常引发隐私担忧。本文提出一种称为BiOcularGAN的新框架，能够生成逼真（可见光与近红外）眼部图像的合成大规模数据集，并附带相应的分割标签以解决上述问题。该框架的核心是一个新颖的双分支StyleGAN2（DB-StyleGAN2）模型，用于促进双模态图像生成，以及一个语义掩码生成器（SMG）组件，通过利用DB-StyleGAN2模型的潜在特征来产生语义标注。我们在五个不同的眼部数据集上通过大量实验评估BiOcularGAN，并分析双模态数据生成对图像质量和所产生标注的影响。实验结果表明，BiOcularGAN能够生成高质量且匹配的双模态图像与标注（仅需极少人工干预），可用于以隐私保护方式训练极具竞争力的（深度）分割模型，并在多个真实世界数据集上表现良好。BiOcularGAN框架的源代码公开于https://github.com/dariant/BiOcularGAN。
引用
@article{arxiv.2205.01536,
title = {BiOcularGAN: Bimodal Synthesis and Annotation of Ocular Images},
author = {Darian Tomašević and Peter Peer and Vitomir Štruc},
journal= {arXiv preprint arXiv:2205.01536},
year = {2022}
}
备注
13 pages, 14 figures