TopP&R：用于评估生成模型保真度与多样性的鲁棒支撑集估计方法
机器学习
2024-01-25 v6 人工智能
计算机视觉与模式识别
摘要
我们通过对支撑集估计引入拓扑与统计处理，提出了一种鲁棒且可靠的生成模型评估指标。现有指标，如 Inception Score（IS）、Frechet Inception Distance（FID）以及 Precision and Recall（P&R）的变体，严重依赖从样本特征估计出的支撑集。然而，尽管评估质量完全取决于该估计，其可靠性却未被严肃讨论（且被忽视）。本文提出拓扑精度与召回（TopP&R，读作 'topper'），其提供了一套系统性估计支撑集的方法，仅以一定置信水平保留拓扑与统计上重要的特征。这不仅使 TopP&R 对含噪特征具有强鲁棒性，还提供了统计一致性。我们的理论与实验结果表明，TopP&R 对离群值与非独立同分布（Non-IID）扰动鲁棒，同时能准确捕捉样本变化的真实趋势。据我们所知，这是首个聚焦于支撑集鲁棒估计并在噪声下提供统计一致性的评估指标。
引用
@article{arxiv.2306.08013,
title = {TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and Diversity in Generative Models},
author = {Pum Jun Kim and Yoojin Jang and Jisu Kim and Jaejun Yoo},
journal= {arXiv preprint arXiv:2306.08013},
year = {2024}
}
备注
Accepted to NeurIPS 2023