利用灵活的深度数据梯度正则化统一对抗训练算法
机器学习
2016-08-01 v3 神经与进化计算
摘要
此前许多关于深度神经网络对抗训练的方案包括直接修改梯度、在原始与对抗样本的混合上训练、使用收缩惩罚、以及近似优化受约束的对抗目标函数。在本文中，我们证明这些方案实际上都是优化一个我们称之为 DataGrad 的通用正则化目标的实例。我们提出的 DataGrad 框架可视为分层收缩自编码器惩罚的深度扩展，它清晰地简化了先前工作，并易于支持诸如带多任务线索的对抗训练等扩展。在我们的实验中，我们发现 DataGrad 的深度梯度正则化（其也具有 L1 和 L2 风格的正则化）在原始数据集和对抗样本集上均优于其他正则化形式，包括经典的 L1、L2 和多任务正则化。此外，我们发现将多任务优化与 DataGrad 对抗训练相结合可得到最鲁棒的性能。
引用
@article{arxiv.1601.07213,
title = {Unifying Adversarial Training Algorithms with Flexible Deep Data Gradient Regularization},
author = {Alexander G. Ororbia and C. Lee Giles and Daniel Kifer},
journal= {arXiv preprint arXiv:1601.07213},
year = {2016}
}