参考引导图像合成中的单张图像评估
计算机视觉与模式识别
2021-12-09 v1
摘要
评估生成对抗网络（GAN）的性能因其实际意义而成为一个重要课题。尽管已提出多种评估指标，但它们通常评估的是整个生成图像分布的质量。对于参考引导图像合成（RIS）任务，即按照另一参考图像的风格渲染源图像，评估单张生成图像的质量至关重要，这些指标并不适用。本文提出一个通用的基于学习的框架——参考引导图像合成评估（RISA），用于定量评估单张生成图像的质量。值得注意的是，RISA 的训练不需要人工标注。具体而言，RISA 的训练数据由 RIS 训练过程中的中间模型获取，并基于图像质量与迭代次数之间的正相关性，通过模型迭代次数进行弱标注。由于这种标注作为监督信号过于粗糙，我们引入两种技术：1）逐像素插值方案以细化粗糙标签，2）多个二分类器替代简单的回归器。此外，引入无监督对比损失以有效捕捉生成图像与其参考图像之间的风格相似性。在多个数据集上的实验结果表明，RISA 与人类偏好高度一致，且在不同模型间具有良好的迁移性。
引用
@article{arxiv.2112.04163,
title = {Assessing a Single Image in Reference-Guided Image Synthesis},
author = {Jiayi Guo and Chaoqun Du and Jiangshan Wang and Huijuan Huang and Pengfei Wan and Gao Huang},
journal= {arXiv preprint arXiv:2112.04163},
year = {2021}
}
备注
Accepted by AAAI 2022