基于有效蒸馏动态软标签正则化器的随机批增强
机器学习
2020-06-30 v1 机器学习
摘要
数据增强已被广泛用于训练深度神经网络以改善泛化能力，无论是在原始空间（如图像空间）还是表示空间。尽管取得成功，合成数据与原始数据之间的联系在训练中很大程度上被忽略，未考虑合成样本在训练中环绕原始样本的分布信息。因此，网络的行为并未针对此进行优化。然而，该行为对泛化至关重要，即便在对抗环境下，对深度学习系统的安全性亦然。本工作中，我们提出一种称为随机批增强（SBA）的框架来解决这些问题。SBA 由批调度器控制迭代，随机决定是否增强，并引入一种“蒸馏”的动态软标签正则化，纳入关于原始样本的邻域分布相似性。所提正则化通过原始数据与虚拟数据输出软最大化分布之间的 KL 散度提供直接监督。我们在 CIFAR-10、CIFAR-100 和 ImageNet 上的实验表明，SBA 能改善神经网络的泛化并加速网络训练收敛。
引用
@article{arxiv.2006.15284,
title = {Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer},
author = {Qian Li and Qingyuan Hu and Yong Qi and Saiyu Qi and Jie Ma and Jian Zhang},
journal= {arXiv preprint arXiv:2006.15284},
year = {2020}
}
备注
Accepted by IJCAI 2020. SOLE copyright holder is IJCAI (international Joint Conferences on Artificial Intelligence)