旅程而非终点：数据如何引导扩散模型
计算机视觉与模式识别
2023-12-12 v1 机器学习
摘要
在大规模数据集上训练的扩散模型能够合成质量卓越、多样性丰富的照片级逼真图像。然而，将这些图像归因于训练数据——即识别导致某张图像被生成的特定训练样本——仍然是一个挑战。本文中，我们提出了一个框架，该框架：(i) 在扩散模型的背景下提供了数据归因的形式化概念，以及 (ii) 允许我们反事实地验证此类归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们应用该方法，为在 CIFAR-10 上训练的去噪扩散概率模型和在 MS COCO 上训练的潜在扩散模型寻找（并评估）此类归因。我们在 https://github.com/MadryLab/journey-TRAK 提供了代码。
引用
@article{arxiv.2312.06205,
title = {The Journey, Not the Destination: How Data Guides Diffusion Models},
author = {Kristian Georgiev and Joshua Vendrow and Hadi Salman and Sung Min Park and Aleksander Madry},
journal= {arXiv preprint arXiv:2312.06205},
year = {2023}
}
备注
29 pages, 17 figures