DensePure：从对抗鲁棒性角度理解扩散模型
机器学习
2022-11-02 v1 人工智能
密码学与安全
摘要
扩散模型近来被用于通过去噪过程来提升认证鲁棒性。然而，关于扩散模型为何能够改善认证鲁棒性的理论理解仍然缺乏，阻碍了进一步的改进。在本研究中，我们通过分析扩散模型的基本属性并建立其能够增强认证鲁棒性的条件，弥补了这一差距。这种更深的理解使我们提出一种新方法 DensePure，旨在提升预训练模型（即分类器）的认证鲁棒性。给定一个（对抗性）输入，DensePure 包含通过扩散模型的反向过程（使用不同随机种子）进行多次去噪运行以获得多个反向样本，随后将其送入分类器，并对推断标签进行多数投票以做出最终预测。这种使用多次去噪运行的设计源于我们对反向样本条件分布的理论分析。具体而言，当干净样本的数据密度较高时，其在扩散模型反向过程下的条件密度也较高；因此从后一条件分布中采样可以净化对抗样本并以高概率返回相应的干净样本。通过使用条件分布中的最高密度点作为反向样本，我们识别了给定实例在扩散模型反向过程下的鲁棒区域。我们表明该鲁棒区域是多个凸集的并，并可能比先前工作中识别的鲁棒区域大得多。在实践中，DensePure 可以近似条件分布中高密度区域的标签，从而增强认证鲁棒性。
引用
@article{arxiv.2211.00322,
title = {DensePure: Understanding Diffusion Models towards Adversarial Robustness},
author = {Chaowei Xiao and Zhongzhu Chen and Kun Jin and Jiongxiao Wang and Weili Nie and Mingyan Liu and Anima Anandkumar and Bo Li and Dawn Song},
journal= {arXiv preprint arXiv:2211.00322},
year = {2022}
}