论训练样本记忆化：从大规模竞赛基准测试生成建模中得到的教训
机器学习
2021-06-08 v1
摘要
近期许多关于自然图像生成模型的发展依赖于启发式驱动的度量指标，这些指标很容易被通过记忆真实分布中的少量样本或直接训练模型以提升指标的方式所操纵。在这项工作中，我们通过设计并部署一个生成建模竞赛来严格评估这些指标的可操纵性。我们的竞赛收到了超过11000个提交的模型。参与者之间的竞争性使我们能够研究生成建模中有意和无意的记忆化。为检测有意记忆化，我们提出了“记忆感知Fréchet Inception距离”（MiFID）作为一种新的记忆感知度量，并设计了基准测试流程以确保获胜提交在感知质量上取得了真正的提升。此外，我们手动检查了1000个性能最优模型的代码，以理解并标注不同形式的记忆化。我们的分析揭示，无意的记忆化在流行的生成模型中是一个严重且普遍的问题。我们发布了生成的图片、这些模型的记忆化标注以及计算MiFID的代码，以促进未来关于生成模型基准测试的研究。
引用
@article{arxiv.2106.03062,
title = {On Training Sample Memorization: Lessons from Benchmarking Generative Modeling with a Large-scale Competition},
author = {Ching-Yuan Bai and Hsuan-Tien Lin and Colin Raffel and Wendy Chih-wen Kan},
journal= {arXiv preprint arXiv:2106.03062},
year = {2021}
}
备注
In Proceedings of the 27th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), August 2021