用于抽象推理图生成的上下文 RNN-GAN
计算机视觉与模式识别
2016-12-07 v2 人工智能
机器学习
摘要
理解、预测和生成物体的运动与变换是人工智能的核心问题。对演化图像序列建模可以提供更好的运动表示与模型，并最终用于预测、模拟或视频生成。图解抽象推理是一种途径，其中图解以复杂模式演化，人们需要推断出潜在的模式序列并生成序列中的下一幅图像。为此，我们开发了一种新颖的基于循环神经网络的上下文生成对抗网络（Context-RNN-GAN），其中生成器和判别器模块均基于上下文历史（建模为 RNN），对抗判别器引导生成器为图像序列中的特定时间步生成逼真的图像。我们在一个新颖的图解抽象推理数据集上评估了 Context-RNN-GAN 模型（及其变体），其性能与十年级人类表现相当，但与大学级别的人类表现相比仍有提升空间。我们还在标准的视频下一帧预测任务上评估了我们的模型，取得了优于可比现有最佳水平的性能。
引用
@article{arxiv.1609.09444,
title = {Contextual RNN-GANs for Abstract Reasoning Diagram Generation},
author = {Arnab Ghosh and Viveka Kulharia and Amitabha Mukerjee and Vinay Namboodiri and Mohit Bansal},
journal= {arXiv preprint arXiv:1609.09444},
year = {2016}
}
备注
To Appear in AAAI-17 and NIPS Workshop on Adversarial Training