解读定制化扩散模型的权重空间

我们研究了由大量定制化扩散模型所张成的权重空间。通过创建一个包含超过60,000个模型的数据集（每个模型均为基础模型针对不同人物视觉身份进行微调后的结果）来填充该空间。我们将这些权重的潜在流形建模为一个子空间，称之为weights2weights。我们展示了该空间的三个直接应用，它们能生成新的扩散模型：采样、编辑和反演。首先，从该空间中采样一组权重，会得到一个编码了新颖身份的模型。其次，我们找到了该空间中对应于身份语义编辑（例如，添加胡须）的线性方向，从而得到一个对原始身份进行编辑后的新模型。最后，我们证明，将单张图像反演到该空间中，即使输入图像是分布外的（例如，一幅画作），也能将一个逼真的身份编码到模型中。我们进一步发现，扩散模型权重空间的这些线性特性也适用于其他视觉概念。我们的结果表明，微调后的扩散模型的权重空间可以像一个可解释的元隐空间那样运作，从而产生新的模型。