基于自监督单次学习的 StyleGAN 图像自动分割
计算机视觉与模式识别
2023-10-24 v3 机器学习
摘要
我们提出一种针对 StyleGAN 生成合成图像进行自动单次分割的框架。我们的框架基于如下观察：GAN 生成器中的多尺度隐藏特征蕴含有用的语义信息，可用于对所生成图像进行自动即时分割。利用这些特征，我们的框架通过一种自监督对比聚类算法学习分割合成图像，该算法将隐藏特征投影至紧致空间以进行逐像素分类。该对比学习器基于一种新颖的数据增强策略与逐像素交换预测损失，从而实现对单次分割特征向量的更快速学习。我们在五个标准基准上测试了我们的实现，其分割性能不仅以平均 wIoU 1.02% 的优势超越半监督基线，还将推理速度提升了 4.5 倍。最后，我们还展示了所提单次学习器在实现 BagGAN 中的结果，BagGAN 是一个用于生成带标注合成行李 X 射线扫描图像以进行威胁检测的框架。该框架在 PIDRay 行李基准上训练与测试，取得了与其基于人工标注的基线分割器相当的性能。
引用
@article{arxiv.2303.05639,
title = {Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images},
author = {Ankit Manerikar and Avinash C. Kak},
journal= {arXiv preprint arXiv:2303.05639},
year = {2023}
}