SimAC：一种保护人脸隐私免受扩散模型文本到图像合成的简单反定制方法

尽管基于扩散的定制方法在视觉内容创作上取得了成功，但从隐私和政治角度，人们对此类技术的担忧日益增加。为解决这一问题，近几个月来已提出几种反定制方法，主要基于对抗攻击。不幸的是，这些方法大多采用直接的设计，例如以对抗性最大化原始训练损失为目标的端到端优化，从而忽略了扩散模型固有的细微内部特性，甚至在某些扩散时间步导致优化无效。在本文中，我们致力于通过全面探索这些固有特性来弥补这一差距，以提升当前反定制方法的性能。我们研究了两方面的特性：1）我们考察了时间步选择与模型在图像频域中感知之间的关系，发现较低的时间步对对抗噪声的贡献更大。这启发我们提出一种自适应贪婪搜索来寻找最优时间步，该搜索可与现有反定制方法无缝集成。2）我们仔细审视了去噪过程中不同层特征的作用，并设计了一个基于特征的精细优化框架用于反定制。在人脸基准上的实验表明，我们的方法显著增加了身份破坏，从而保护了用户隐私和版权。我们的代码可在以下链接获取：https://github.com/somuchtome/SimAC。