PathGAN：基于生成对抗网络的视觉扫描路径预测
计算机视觉与模式识别
2018-09-05 v1 人工智能
摘要
我们提出 PathGAN，一种在对抗样本上训练的用于视觉扫描路径预测的深层神经网络。视觉扫描路径定义为人类观察者以其注视在图像上定义的注视点序列。PathGAN 由生成器和判别器两部分组成。两部分均使用现成网络从图像中提取特征，并训练循环层以相应地生成或判别扫描路径。在扫描路径预测中，数据的随机性使得使用监督学习策略很难生成逼真的预测，但我们采用对抗训练作为合适的替代方案。我们的实验证明了 PathGAN 如何在 iSUN 和 Salient360! 数据集上改进视觉扫描路径预测的当前最优水平。源代码和模型可在 https://imatge-upc.github.io/pathgan/ 获取。
引用
@article{arxiv.1809.00567,
title = {PathGAN: Visual Scanpath Prediction with Generative Adversarial Networks},
author = {Marc Assens and Xavier Giro-i-Nieto and Kevin McGuinness and Noel E. O'Connor},
journal= {arXiv preprint arXiv:1809.00567},
year = {2018}
}
备注
ECCV 2018 Workshop on Egocentric Perception, Interaction and Computing (EPIC). This work obtained the 2nd award in Prediction of Head-gaze Scan-paths for Images, and the 2nd award in Prediction of Eye-gaze Scan-paths for Images at the IEEE ICME 2018 Salient360! Challenge