先验网络的反向KL散度训练：改进的不确定性与对抗鲁棒性
机器学习
2019-12-03 v2 机器学习
摘要
集成方法用于不确定性估计最近已被应用于误分类检测、分布外输入检测和对抗攻击检测任务。先验网络被提出作为一种高效方法，通过参数化输出分布上的狄利克雷先验分布来模拟分类模型的集成。这些模型已被证明在分布外输入检测任务上优于替代集成方法（如蒙特卡洛Dropout）。然而，使用最初提出的训练准则将先验网络扩展到具有许多类别的复杂数据集是困难的。本文做出两项贡献。首先，我们表明先验网络的适当训练准则是狄利克雷分布之间的反向KL散度。这解决了训练数据目标分布性质的问题，使得先验网络能够在具有任意多类别的分类任务上成功训练，并提高了分布外检测性能。其次，利用这一新的训练准则，本文研究了使用先验网络检测对抗攻击，并提出了一种广义形式的对抗训练。结果表明，针对使用所提方法在CIFAR-10和CIFAR-100上训练的先验网络，构建成功的自适应白盒攻击（既影响预测又逃避检测）所需的计算量大于针对使用标准对抗训练或MC-dropout防御的网络。
引用
@article{arxiv.1905.13472,
title = {Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness},
author = {Andrey Malinin and Mark Gales},
journal= {arXiv preprint arXiv:1905.13472},
year = {2019}
}