扩散转换器中的知识局部化
计算机视觉与模式识别
2026-01-27 v3
摘要
理解生成模型各层知识的分布情况对于提高可解释性、可控性和适应性至关重要。虽然先前的工作探索了基于 UNet 的架构中的知识局部化，但扩散转换器 (Diffusion Transformer, DiT) 基于模型的研究仍在此背景下不足。本文提出一种模型无关且知识无关的方法，用于局部化特定类型知识在 DiT 块中编码的 LOCATION。我们在包括 PixArt-alpha、FLUX 和 SANA 在内的领先 DiT 基于模型上进行评估，涵盖六种多样化的知识类别。我们表明，识别的块既可解释，也与生成输出中知识的表达在因果上相互关联。基于这些见解，我们将局部化框架应用于两个关键应用：模型个人化和知识遗忘。在这两种情况下，我们的局部化微调方法均实现了高效且有针对性的更新，降低了计算成本，提高了任务特定的性能，并通过最小干扰保留了与无关或周围内容的一般模型行为。总体而言，我们的发现为理解 DiT 的内部结构提供了新视角，并引入了一种实用的方法，以实现更可解释、更高效且更可控的模型编辑。
引用
@article{arxiv.2505.18832,
title = {Localizing Knowledge in Diffusion Transformers},
author = {Arman Zarei and Samyadeep Basu and Keivan Rezaei and Zihao Lin and Sayan Nag and Soheil Feizi},
journal= {arXiv preprint arXiv:2505.18832},
year = {2026}
}