面向文本到图像模型的快速数据归因

文本到图像模型的数据归因旨在识别生成输出最显著影响的训练图像。现有归因方法在每次查询时需耗费大量计算资源，不适用于实际场景。我们提出一种面向可扩展高效数据归因的新方法。核心思想是将慢速、基于遗忘（unlearning）的方法蒸馏到特征嵌入空间，以高效检索高度影响的训练图像。在部署时，结合高效索引和检索方法，我们能在不运行昂贵归因算法的情况下成功找到高度影响的图像。我们在使用 MSCOCO 训练的中等规模模型和使用 LAION 训练的大规模 Stable Diffusion 模型上进行大量实验，表明该方法能在几秒钟内实现更好或相当于现有方法的性能，速度提升 2500 倍至 40 万倍。我们的工作标志着数据归因方法在面向实际模型（如 Stable Diffusion）的大规模应用的重要进展。