想象性游走：用于改进未见学习表示的生成随机游走偏差损失
计算机视觉与模式识别
2021-09-27 v2 人工智能
摘要
我们提出一种用于生成模型的新损失，称为 GRaWD（生成随机游走偏差，Generative Random Walk Deviation），以改进对未探索视觉空间的学习表示。对未见类别（或风格）的优质学习表示对于促进新颖图像生成和更好的未见视觉类别生成式理解（即零样本学习，ZSL）至关重要。通过基于语义描述（如属性或文本）生成未见类别的表示，生成式 ZSL 试图区分未见与已见类别。所提出的 GRaWD 损失通过构建一个动态图来定义，该图包含已见类别/风格中心以及当前小批量中生成的样本。我们的损失从每个中心发起一个随机游走概率，经由由幻觉未见类别产生的视觉生成进行传递。作为偏差信号，我们鼓励随机游走在 t 步后最终落在一个难以被分类为任何已见类别的特征表示中。我们证明该损失能在基于文本的 ZSL 基准 CUB 和 NABirds 数据集以及基于属性的 ZSL 基准 AWA2、SUN 和 aPY 数据集上归纳式地提升未见类别表示质量。此外，我们探究了该损失在 WikiArt 数据集上生成有意义新颖视觉艺术的能力。实验与人工评估结果表明，所提出的 GRaWD 损失能改进 StyleGAN1 和 StyleGAN2 的生成质量，并创作出显著更受偏好的新颖艺术。我们的代码已公开于 https://github.com/Vision-CAIR/GRaWD。
引用
@article{arxiv.2104.09757,
title = {Imaginative Walks: Generative Random Walk Deviation Loss for Improved Unseen Learning Representation},
author = {Divyansh Jha and Kai Yi and Ivan Skorokhodov and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2104.09757},
year = {2021}
}
备注
Project homepage: https://imaginative-walks.github.io