迈向对变分自编码器鲁棒性的理论理解
机器学习
2021-02-01 v3 机器学习
摘要
我们在理解变分自编码器（VAEs）对对抗攻击及其他输入扰动的鲁棒性方面取得初步进展。尽管先前工作已提出攻击与防御 VAEs 的算法方法，但对于 VAE 的鲁棒性意味着什么仍缺乏形式化定义。为此，我们为概率模型提出一种新的鲁棒性判据：-鲁棒性（r-robustness）。随后我们利用该判据构建首个关于 VAE 鲁棒性的理论结果，推导出输入空间中的边界，在此边界内我们能够对所得重构提供保证。直观而言，我们能够定义一个区域，其中任何扰动都将产生与原始重构相似的重构。为支持我们的分析，我们表明采用解耦方法训练的 VAEs 不仅在我们的鲁棒性度量下表现良好，而且其原因可通过我们的理论结果加以解释。
引用
@article{arxiv.2007.07365,
title = {Towards a Theoretical Understanding of the Robustness of Variational Autoencoders},
author = {Alexander Camuto and Matthew Willetts and Stephen Roberts and Chris Holmes and Tom Rainforth},
journal= {arXiv preprint arXiv:2007.07365},
year = {2021}
}
备注
8 pages