变换集合：有引导与无引导图像拼贴的记忆注意力生成
计算机视觉与模式识别
2019-12-02 v2 机器学习
图像与视频处理
机器学习
摘要
剪切和粘贴图像片段感觉很直观：源模板的选择为艺术家重组现有源材料提供了灵活性。形式上，该过程以图像集为输入，输出集合元素的拼贴画。这种从源模板集合中进行选择的方式，不易适应需要固定尺寸输入的经典卷积神经模型。受注意力机制和集合输入机器学习进展的启发，我们提出了一种新颖架构，能够使用集合结构化的表示，在一次前向传播中生成源模板的图像拼贴画。本文具有以下贡献：(i) 一种新颖的图像生成框架，称为图像拼贴记忆注意力生成（MAGIC），为艺术家提供了创建数字拼贴画的新方法；(ii) 从机器学习角度，我们展示了一种新颖的生成对抗网络（GAN）架构，该架构使用Set-Transformer层和集合池化来混合随机图像样本集合——一种混合非参数方法。
引用
@article{arxiv.1910.07236,
title = {Transform the Set: Memory Attentive Generation of Guided and Unguided Image Collages},
author = {Nikolay Jetchev and Urs Bergmann and Gökhan Yildirim},
journal= {arXiv preprint arXiv:1910.07236},
year = {2019}
}
备注
To be presented at the NeurIPS 2019 workshop on Creativity and AI