一种用于评估生成对抗网络的神经-人工智能接口
计算机视觉与模式识别
2020-04-07 v2 人机交互
机器学习
图像与视频处理
摘要
生成对抗网络（GANs）在计算机视觉、自然语言处理、语音合成及类似领域中正日益受到关注。然而，评估 GANs 的性能仍是一个开放且具有挑战性的问题。现有的评估指标主要利用自动统计方法衡量真实图像与生成图像之间的差异，它们通常需要大量样本进行评估，且不能直接反映人类对图像质量的感知。在本工作中，我们引入了一种称为 Neuroscore 的评估指标，用于评估 GANs 的性能，该指标通过利用脑信号更直接地反映心理感知层面的图像质量。我们的结果表明，Neuroscore 相较于当前评估指标具有更优的性能：(1) 它与人类判断更为一致；(2) 评估过程所需样本量大幅减少；(3) 它能够以每个 GAN 为基础对图像质量进行排序。我们提出了一种基于卷积神经网络（CNN）的神经-人工智能接口，可直接从 GAN 生成的图像预测 Neuroscore，而无需神经响应。重要的是，我们表明在网络训练阶段纳入神经响应能够显著提升所提出模型的预测能力。代码与数据可参见此链接：https://github.com/villawang/Neuro-AI-Interface。
引用
@article{arxiv.2003.03193,
title = {A Neuro-AI Interface for Evaluating Generative Adversarial Networks},
author = {Zhengwei Wang and Qi She and Alan F. Smeaton and Tomas E. Ward and Graham Healy},
journal= {arXiv preprint arXiv:2003.03193},
year = {2020}
}
备注
Accepted by ICLR 2020 Workshop Bridging AI and Cognitive Science (BAICS). arXiv admin note: substantial text overlap with arXiv:1905.04243