中文

UnHype:基于 CLIP 指导的超神经网络用于动态 LoRA 忘卸

计算机视觉与模式识别 2026-02-04 v1

摘要

近期大型扩散模型的进展加剧了其潜在被滥用,尤其是在生成逼真但有害或社会破坏性内容方面。这一挑战催生了对有效机器忘卸的日益关注,即在不损害整体生成能力的前提下 selectively 删除特定知识或概念。就各种方法而言,低秩适应(LoRA)已成为一种有效且高效的针对性忘卸方法。然而,LoRA 方法往往表现出对概念语义的有限适应性,难以在删除密切相关概念的同时维持对更广泛意义的泛化。此外,这些方法在需要同时擦除多个概念时面临可扩展性挑战。为此提出了 UnHype,一个将超神经网络集成到单-和多概念 LoRA 训练中的框架。该框架可直接插入 Stable Diffusion 以及现代基于流的文本到图像模型中,显示出稳定的训练行为和有效的概念控制。在推理过程中,超神经网络根据 CLIP 嵌入动态生成自适应 LoRA 权重,实现更具上下文感知的可扩展忘卸。我们在包括对象擦除、明星擦除和显性内容删除等多个具有挑战性的任务上评估了 UnHype,证明了其有效性和多样性。仓库:https://github.com/gmum/UnHype。

关键词

引用

@article{arxiv.2602.03410,
  title  = {UnHype: CLIP-Guided Hypernetworks for Dynamic LoRA Unlearning},
  author = {Piotr Wójcik and Maksym Petrenko and Wojciech Gromski and Przemysław Spurek and Maciej Zieba},
  journal= {arXiv preprint arXiv:2602.03410},
  year   = {2026}
}