评估文本到图像模型的数据归因

尽管大型文本到图像模型能够合成“新颖”图像，这些图像必然反映了训练数据。此类模型中的数据归因问题——训练集中哪些图像对给定生成图像的外观负有最大责任——是一个困难而重要的问题。作为朝向该问题的初步步骤，我们通过“定制”方法评估归因，这些方法将已有的大规模模型调优至给定的示例物体或风格。我们的关键见解是，这使我们能够高效地创建按构造受示例计算影响的合成图像。借助我们这种示例影响图像的新数据集，我们得以评估各种数据归因算法与不同的可能特征空间。此外，通过在我们的数据集上训练，我们可以将标准模型（如 DINO、CLIP 和 ViT）调优至归因问题。尽管该过程针对小型示例集调优，我们展示了向更大集合的泛化能力。最后，通过考虑问题固有的不确定性，我们可以在一组训练图像上分配软归因分数。