WAYLA——由眼动生成图像

我们提出一种仅基于观察者的眼动来重建其所观看图像的方法。通过探索注视模式与图像刺激之间的关系，“你在看什么？”（WAYLA）系统学会合成与所观看原始图片相似的照片级真实图像。WAYLA 方法基于 Isola 等人的条件生成对抗网络（Conditional GAN）图像到图像翻译技术。我们考虑两个具体应用——其一是从注视热力图重建报纸图像，其二是含纯文本图像的精细重建。报纸图像重建过程被分为两个图像到图像翻译操作，第一个将注视热力图映射为图像分割，第二个将生成的分割映射为报纸图像。我们使用多种评价指标并结合人工视觉检查来验证我们方法的性能。所有结果都确认了我们的网络利用眼动追踪数据执行图像生成任务的能力。