图像与分割掩码的一次性合成
计算机视觉与模式识别
2022-09-19 v1 机器学习
摘要
利用生成对抗网络（GANs）联合合成图像与分割掩码有望减少收集带像素级标注图像数据所需的工作量。然而，为学习高保真图像–掩码合成，现有 GAN 方法首先需要一个需要大量图像数据的预训练阶段，这限制了它们在受限图像域中的使用。本文中，我们迈出一步以减轻该限制，引入一次性图像–掩码合成任务。我们的目标是仅给定单个带标注样本，并不同于先前模型地假设无法访问任何预训练数据，来生成多样的图像及其分割掩码。为此，受近期单图像 GAN 架构发展的启发，我们提出 OSMIS 模型，其能够在一次性设定下合成与生成图像精确对齐的分割掩码。除实现生成掩码的高保真外，OSMIS 在图像合成质量与多样性上优于最先进的单图像 GAN 模型。此外，尽管未使用任何额外数据，OSMIS 展现出作为一次性分割应用中有用数据增强来源的惊人能力，提供与标准数据增强技术互补的性能增益。代码见 https://github.com/ boschresearch/one-shot-synthesis
引用
@article{arxiv.2209.07547,
title = {One-Shot Synthesis of Images and Segmentation Masks},
author = {Vadim Sushko and Dan Zhang and Juergen Gall and Anna Khoreva},
journal= {arXiv preprint arXiv:2209.07547},
year = {2022}
}
备注
Accepted as a conference paper at IEEE Winter Conference on Applications of Computer Vision (WACV) 2023