面向深度网络的隐式语义数据增强
计算机视觉与模式识别
2020-04-28 v5 机器学习
机器学习
摘要
本文提出一种新颖的隐式语义数据增强（ISDA）方法，以补充翻转、平移或旋转等传统增强技术。我们的工作受一个有趣性质的启发：深度网络出奇地善于线性化特征，使得深度特征空间中的某些方向对应于有意义的语义变换，例如添加太阳镜或改变背景。因此，在特征空间中沿多个语义方向平移训练样本可有效增强数据集以提升泛化能力。为高效且有效地实现该想法，我们首先对每类深度特征的协方差矩阵进行在线估计，以捕捉类内语义变化。然后从具有所估计协方差的零均值正态分布中抽取随机向量，在该类中增强训练数据。重要的是，我们无需显式增强样本，而是可直接最小化增强训练集上期望交叉熵（CE）损失的上界，从而得到一种高效算法。事实上，我们表明所提 ISDA 等价于最小化一种新颖的鲁棒 CE 损失，其为正常训练过程增加的额外计算成本可忽略不计。尽管简单，ISDA 在多种数据集（如 CIFAR-10、CIFAR-100 与 ImageNet）上持续提升流行深度模型（ResNets 与 DenseNets）的泛化性能。用于复现我们结果的代码见 https://github.com/blackfeather-wang/ISDA-for-Deep-Networks。
引用
@article{arxiv.1909.12220,
title = {Implicit Semantic Data Augmentation for Deep Networks},
author = {Yulin Wang and Xuran Pan and Shiji Song and Hong Zhang and Cheng Wu and Gao Huang},
journal= {arXiv preprint arXiv:1909.12220},
year = {2020}
}
备注
Accepted by NeurIPS 2019