ScribbleGen：生成式数据增强改进涂鸦监督语义分割
计算机视觉与模式识别
2024-04-18 v2 机器学习
摘要
生成模型（如扩散模型）的最新进展使得生成高质量合成图像变得广泛可及。先前工作表明，在合成图像上训练可改进许多感知任务，如图像分类、目标检测和语义分割。我们首次探索用于涂鸦监督语义分割的生成式数据增强。我们提出 ScribbleGen，一种生成式数据增强方法，利用以语义涂鸦为条件的 ControlNet 扩散模型来生成高质量训练数据。然而，生成式数据增强的朴素实现可能无意中损害下游分割器的性能而非提升它。我们利用无分类器扩散引导来强制类别一致性，并引入编码比率以权衡数据多样性与数据真实感。借助引导尺度和编码比率，我们可以生成一系列高质量训练图像。我们提出多种增强方案，并发现这些方案显著影响模型性能，尤其在低数据场景下。我们的框架进一步缩小了涂鸦监督分割与全监督分割之间的性能差距。我们还表明，我们的框架在小数据集上显著提升分割性能，甚至超越全监督分割。代码可在 https://github.com/mengtang-lab/scribblegen 获取。
引用
@article{arxiv.2311.17121,
title = {ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation},
author = {Jacob Schnell and Jieke Wang and Lu Qi and Vincent Tao Hu and Meng Tang},
journal= {arXiv preprint arXiv:2311.17121},
year = {2024}
}