重新审视基于 GAN 的图像合成评测
计算机视觉与模式识别
2023-10-24 v2
摘要
一个良好的度量标准能够可靠地比较不同方法，对于任何定义明确的任务都至关重要。与大多数具有逐样本真值的视觉任务不同，图像合成任务旨在生成未见数据，因此通常通过一组真实样本与另一组生成样本之间的分布距离来评测。本研究以生成对抗网络（GANs）作为生成模型的代表，对合成性能的评测进行了实证考察。特别地，我们深入分析了多种因素，包括如何在表示空间中表示一个数据点、如何使用所选样本计算公平距离，以及每组应使用多少实例。在多个数据集和设置下进行的广泛实验揭示了若干重要发现。首先，一组包含基于 CNN 和基于 ViT 的架构的模型可作为可靠且鲁棒的特征提取器用于度量评测。其次，中心化核对齐（CKA）能在同一模型的不同提取器和层次之间提供更好的比较。最后，CKA 更具样本效率，并在刻画两个内部数据相关性之间的相似性时与人类判断有更好的一致性。这些发现有助于开发一个新的度量系统，从而能够一致且可靠地重新评测当前最先进的生成模型。
引用
@article{arxiv.2304.01999,
title = {Revisiting the Evaluation of Image Synthesis with GANs},
author = {Mengping Yang and Ceyuan Yang and Yichi Zhang and Qingyan Bai and Yujun Shen and Bo Dai},
journal= {arXiv preprint arXiv:2304.01999},
year = {2023}
}
备注
NeurIPS 2023 datasets and benchmarks track