Synthetic-Neuroscore：使用神经-AI 接口评估生成对抗网络
计算机视觉与模式识别
2020-02-04 v2 机器学习
图像与视频处理
信号处理
摘要
生成对抗网络（GANs）日益吸引计算机视觉、自然语言处理、语音合成及类似领域的关注。可以说最引人注目的结果出现在图像合成领域。然而，评估 GANs 的性能仍是一个开放且具有挑战性的问题。现有评估指标主要使用自动统计方法度量真实图像与生成图像之间的不相似度。它们通常需要大量样本进行评估，且不能直接反映人类对图像质量的感知。在这项工作中，我们描述了一种称为 Neuroscore 的评估指标，用于评估 GANs 的性能，它通过利用脑信号更直接地反映心理感知图像质量。我们的结果表明，Neuroscore 相较于当前评估指标具有更优性能：（1）它与人类判断更一致；（2）评估过程需要少得多的样本数量；（3）它能够以每个 GAN 为基础对图像质量排序。提出了一种基于卷积神经网络（CNN）的神经-AI 接口，可直接从 GAN 生成的图像预测 Neuroscore，无需神经响应。重要的是，我们表明在网络训练阶段纳入神经响应可显著提升所提模型的预测能力。与本研究相关的材料提供于 https://github.com/villawang/Neuro-AI-Interface。
引用
@article{arxiv.1905.04243,
title = {Synthetic-Neuroscore: Using A Neuro-AI Interface for Evaluating Generative Adversarial Networks},
author = {Zhengwei Wang and Qi She and Alan F. Smeaton and Tomas E. Ward and Graham Healy},
journal= {arXiv preprint arXiv:1905.04243},
year = {2020}
}