合成数据集用于泛化行人重识别基准测试是否可靠？
计算机视觉与模式识别
2022-09-13 v1
摘要
近期研究表明，在合成数据集上训练的模型能够取得比在公开真实世界数据集上训练更好的泛化行人重识别（GPReID）性能。另一方面，由于真实世界行人 ReID 数据集的局限性，使用大规模合成数据集作为测试集来基准测试行人 ReID 算法也将是重要且有趣的。然而这引发了一个关键问题：合成数据集用于基准测试泛化行人重识别是否可靠？文献中尚无证据表明这一点。为此，我们设计了一种称为成对排序分析（PRA）的方法，以定量度量排序相似性并进行同分布的统计检验。具体而言，我们采用 Kendall 秩相关系数来评估不同数据集上算法排序之间的成对相似性值。然后，执行非参数双样本 Kolmogorov-Smirnov（KS）检验，以判断合成与真实世界数据集之间的算法排序相关性，以及仅在真实世界数据集之间的算法排序相关性，是否处于相同分布。我们使用十种代表性算法、三个流行真实世界行人 ReID 数据集和三个近期发布的大规模合成数据集进行了全面实验。通过所设计的成对排序分析和综合评估，我们得出结论：近期的大规模合成数据集 ClonedPerson 可可靠地用于基准测试 GPReID，在统计上与真实世界数据集相同。因此，本研究保证了合成数据集作为源训练集和目标测试集的使用，完全不存在来自真实世界监控数据的隐私问题。此外，本文的研究也可能启发未来合成数据集的设计。
引用
@article{arxiv.2209.05047,
title = {Is Synthetic Dataset Reliable for Benchmarking Generalizable Person Re-Identification?},
author = {Cuicui Kang},
journal= {arXiv preprint arXiv:2209.05047},
year = {2022}
}