自发现可解释扩散隐空间方向以实现负责任文本到图像生成

基于扩散的模型因其卓越的图像生成能力在文本到图像生成中广受欢迎。此类模型的一个风险是可能生成不当内容,如带有偏倚或有害的图像。然而,从扩散模型内部表征视角看,生成此类不期望内容的内在原因仍不清楚。已有工作将扩散模型可解释隐空间中的向量解释为语义概念。但现有方法无法针对任意概念(如与不当概念相关的)发现方向。在本文中,我们提出一种新颖的自监督方法来寻找给定概念的可解释隐空间方向。利用发现的向量,我们进一步提出一种缓解不当生成的简单方法。我们进行了大量实验来验证我们缓解方法的有效性,即用于公平生成、安全生成与负责任的文本增强生成。项目页面:\url{https://interpretdiffusion.github.io}。