论文本到图像生成模型中的机制性知识定位
计算机视觉与模式识别
2024-05-09 v2
摘要
识别文本到图像模型中控制视觉属性的层，可以通过闭式更新促进高效的模型编辑。近期利用因果追踪的研究表明，早期的 Stable-Diffusion 变体将知识主要限制在 CLIP 文本编码器的第一层，而它在 UNet 中扩散。扩展此框架后，我们观察到对于近期的模型（例如 SD-XL、DeepFloyd），因果追踪无法准确定位局部化知识，这凸显了模型编辑中的挑战。为解决这一问题，我们在文本到图像模型中引入了机制性定位的概念，即关于各种视觉属性（例如“风格”、“物体”、“事实”）的知识可以在机制上定位到 UNet 中的一小部分层，从而促进高效的模型编辑。我们使用我们的方法 LocoGen 来定位知识，该方法通过对 UNet 的交叉注意力层进行干预，来测量中间层对输出生成的直接效应。随后，我们采用 LocoEdit，一种快速的闭式编辑方法，在流行的开源文本到图像模型（包括最新的 SD-XL）上进行编辑，并探索了神经元级模型编辑的可能性。利用机制性定位，我们的工作为基于定位的文本到图像模型编辑的成功与失败提供了更好的视角。代码将发布于 https://github.com/samyadeepbasu/LocoGen。
引用
@article{arxiv.2405.01008,
title = {On Mechanistic Knowledge Localization in Text-to-Image Generative Models},
author = {Samyadeep Basu and Keivan Rezaei and Priyatham Kattakinda and Ryan Rossi and Cherry Zhao and Vlad Morariu and Varun Manjunatha and Soheil Feizi},
journal= {arXiv preprint arXiv:2405.01008},
year = {2024}
}
备注
Appearing in ICML 2024