用于修剪扩散模型的高效微调与概念抑制

近期进展不断提升扩散生成式模型的质量。尽管生成内容的质量持续提高，但这些模型的规模和复杂度也在不断增长。这一计算负担增加在资源受限的部署场景中(如移动设备)提出了重大挑战。模型修剪与知识蒸馏的组合似乎是缓解计算需求、同时保持生成质量的有前景的解决方案。然而，这一技术不慎会传播不良行为，包括在 fine-tuning 数据集中未出现的受版权保护内容和不安全概念。本文提出一种用于修剪扩散模型的 novel bilevel 优化框架，将 fine-tuning 和 unlearning 过程整合为统一的阶段。我们的做法在保持蒸馏主要优势(即高效收敛和风格迁移能力)的同时，选择性抑制不希望生成的内容。该 plug-in 框架与各种修剪和概念 unlearning 方法兼容，促进在受控环境中受高效、安全部署的扩散模型。