面向代价敏感深度学习分类应用的方向性对抗训练
机器学习
2019-10-09 v1 计算机视觉与模式识别
机器学习
摘要
在机器学习的许多现实应用中,不仅提供准确的预测,而且确保一定程度的鲁棒性至关重要。对抗训练是一种训练过程,旨在提供对预定义点周围最坏情况扰动具有鲁棒性的模型。不幸的是,对抗训练的主要问题之一是,针对基于梯度的攻击者的鲁棒性总是以预测准确性为代价。本文提出一种用于对抗训练的新算法,称为 Wasserstein 投影梯度下降(WPGD)。WPGD 提供了一种获得代价敏感鲁棒性的简单方法,从而更精细地控制鲁棒性-准确性权衡。此外,WPGD 在网络输出空间上求解一个最优传输问题,并能高效发现需要鲁棒性的方向,从而控制准确性与鲁棒性之间的方向性权衡。所提出的 WPGD 在本文中通过不同基准数据集与架构在图像识别任务上得到验证。此外,现实世界类的数据集通常是不平衡的:本文表明,当处理此类数据集时,对抗训练的性能主要在标准准确性方面受到影响。
引用
@article{arxiv.1910.03468,
title = {Directional Adversarial Training for Cost Sensitive Deep Learning Classification Applications},
author = {Matteo Terzi and Gian Antonio Susto and Pratik Chaudhari},
journal= {arXiv preprint arXiv:1910.03468},
year = {2019}
}