扩散模型数据归因的有趣性质

数据归因旨在将模型输出追溯至训练数据。随着扩散模型的最近发展，数据归因已成为一个期望的模块，用于为高质量或受版权保护的训练样本合理分配价值，确保数据贡献者获得公平补偿或署名。若干基于理论动机的方法被提出以实施数据归因，力求改善计算可扩展性与有效性之间的权衡。本工作中，我们对扩散模型归因进行了大量实验与消融研究，特别关注于在 CIFAR-10 和 CelebA 上训练的 DDPM，以及于 ArtBench 上 LoRA 微调的 Stable Diffusion 模型。有趣的是，我们报告了反直觉的观察：理论上不成立的归因设计选择经验上以大幅优势超越先前基线，无论是在线性数据建模分数还是反事实评估方面。我们的工作提出了一种显著更高效的扩散模型归因方法，而这些意外发现表明，至少在非凸设定下，由理论假设引导的构造可能导致更差的归因性能。代码见 https://github.com/sail-sg/D-TRAK。