基于类别亲和度迁移的小样本语义图像合成
计算机视觉与模式识别
2023-04-06 v1
摘要
语义图像合成旨在根据给定的语义分割图生成照片级真实图像。尽管近期取得了诸多进展，其训练仍需要带有逐像素标签图的大规模图像数据集，而此类标注的获取极为繁琐。为缓解高昂的标注成本，我们提出一种迁移方法，利用在大型源数据集上训练的模型，通过估计源类别与目标类别之间的成对关系来提升在小目标数据集上的学习能力。我们将类别亲和度矩阵作为首层引入源模型，使其兼容目标标签图，随后对源模型在目标域上进一步微调。为估计类别亲和度，我们考虑了多种利用先验知识的途径：源域上的语义分割、文本标签嵌入以及自监督视觉特征。我们将该方法应用于基于 GAN 和基于扩散模型的语义合成架构。实验表明，不同类别亲和度估计方式可有效结合，且我们的方法显著优于现有的生成图像模型最优迁移方法。
引用
@article{arxiv.2304.02321,
title = {Few-shot Semantic Image Synthesis with Class Affinity Transfer},
author = {Marlène Careil and Jakob Verbeek and Stéphane Lathuilière},
journal= {arXiv preprint arXiv:2304.02321},
year = {2023}
}
备注
Accepted to CVPR 2023