惰性层：使微调扩散模型更具可追溯性
计算机视觉与模式识别
2024-05-02 v1 密码学与安全
摘要
基础生成模型应具备可追溯性，以保护模型所有者并促进安全监管。为实现此目标，传统方法基于超visor触发-响应信号嵌入标识符，通常称为后门水印。但这些方法在模型经非触发数据微调时容易失效。我们的实验表明，这一漏洞源于仅少数'忙碌'层在微调过程中发生能量变化，从而导致我们提出一种任意-in-任意-out（AIAO）策略，使水印对基于微调的移除具有韧性。AIAO样本在various神经网络深度上的触发-响应对可用于构建水印子路径，采用蒙特卡洛抽样以实现稳定的验证结果。此外，与现有方法在扩散模型的输入/输出空间设计后门不同，我们的方法提出将后门嵌入到采样子路径的特征空间，其中提出了一种掩码控制触发函数，以保持生成性能并确保嵌入后门的隐蔽性。我们的实证研究在MS-COCO、AFHQ、LSUN、CUB-200和DreamBooth数据集上确认了AIAO的鲁棒性；而其他基于触发的方法在微调后验证率从约90%下降至约70%，而我们的方法则始终保持在90%以上。
引用
@article{arxiv.2405.00466,
title = {Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable},
author = {Haozhe Liu and Wentian Zhang and Bing Li and Bernard Ghanem and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2405.00466},
year = {2024}
}