TreeGAN：将类别层级结构引入图像生成
计算机视觉与模式识别
2021-12-01 v2 人工智能
摘要
条件图像生成(CIG)是计算机视觉与机器学习中广泛研究的问题。给定一个类别，CIG 将该类别名称作为输入并生成属于该类别的一组图像。在现有 CIG 工作中，不同类别的对应图像是独立生成的，未考虑类别间关系。在真实应用中，类别被组织为层级结构，其层级关系对生成高保真图像具有信息价值。本文旨在利用类别层级结构进行条件图像生成。我们提出两种融入类别层级的方式：先验控制与后约束。在先验控制中，我们首先编码类别层级，然后将其作为先验输入条件生成器以生成图像。在后约束中，图像生成后，我们度量其与类别层级的一致性，并用一致性分数引导生成器训练。基于这两个思路，我们提出 TreeGAN 模型，包含三个模块：(1) 类别层级编码器(CHE)，以类别的层级结构及其文本名称为输入，为每个类学习嵌入；该嵌入捕获类别间层级关系；(2) 条件图像生成器(CIG)，以 CHE 生成的类别嵌入为输入，生成属于该类别的一组图像；(3) 一致性检查器，对生成图像进行层级分类并检查其是否与类别层级兼容；一致性分数用于引导 CIG 生成与层级兼容的图像。在多个数据集上的实验证明了我们方法的有效性。
引用
@article{arxiv.2009.07734,
title = {TreeGAN: Incorporating Class Hierarchy into Image Generation},
author = {Ruisi Zhang and Luntian Mou and Pengtao Xie},
journal= {arXiv preprint arXiv:2009.07734},
year = {2021}
}