利用 GAN 先验的小样本部件分割
计算机视觉与模式识别
2022-07-28 v1
摘要
小样本部件分割旨在仅给定少量标注样本的情况下分离物体的不同部件。由于数据有限的挑战，现有工作主要集中于在预训练特征上学习分类器，未能学习用于部件分割的任务特定特征。本文提出在“预训练”-“微调”范式下学习任务特定特征。我们进行提示设计以缩小预训练任务（即图像生成）与下游任务（即部件分割）之间的差距，从而能够将用于生成的 GAN 先验用于分割。这是通过将部件分割图投影到 RGB 空间并在 RGB 分割图与原始图像之间进行插值来实现的。具体而言，我们设计了一种微调策略，将图像生成器逐步调谐为分割生成器，其中生成器的监督通过插值从图像逐渐变为分割图。此外，我们提出了一种双流架构，即用于生成任务特定特征的分割流，以及用于提供空间约束的图像流。图像流可视为一种自监督自编码器，这使得我们的模型能够从大规模支持图像中获益。总体而言，本工作是一次通过提示设计探索生成任务与感知任务内部相关性的尝试。大量实验表明，我们的模型在多个部件分割数据集上取得了最先进的性能。
引用
@article{arxiv.2207.13428,
title = {Leveraging GAN Priors for Few-Shot Part Segmentation},
author = {Mengya Han and Heliang Zheng and Chaoyue Wang and Yong Luo and Han Hu and Bo Du},
journal= {arXiv preprint arXiv:2207.13428},
year = {2022}
}