结合数据增强的核卷积深度神经网络
机器学习
2020-12-25 v2
摘要
Mixup 方法（Zhang 等人 2018）利用线性插值数据，已成为一种有效的数据增强工具，可改善泛化性能及对对抗样本的鲁棒性。其动机是通过其隐式模型约束在观测数据点之间表现为线性并促使平滑，从而减少不良的振荡。在这项工作中，我们正式研究这一前提，提出一种显式施加平滑约束的方法，并将其扩展以结合隐式模型约束。首先，我们推导出一个由核卷积模型（KCM）组成的新函数类，其中平滑约束通过对原始函数用核函数局部平均而直接施加。其次，我们提出将 Mixup 方法纳入 KCM 以扩展平滑域。在 KCM 及适配 Mixup 的 KCM 两种情形下，我们分别针对某些核条件给出了风险分析。我们表明，超额风险的上界不慢于原始函数类的上界。若 Mixup 的扰动比 衰减得更快（其中 为样本量），则带 Mixup 的 KCM 的上界仍由 KCM 的上界主导。使用 CIFAR-10 和 CIFAR-100 数据集，我们的实验表明，带 Mixup 的 KCM 在泛化和对对抗样本的鲁棒性方面优于 Mixup 方法。
引用
@article{arxiv.2012.02521,
title = {Kernel-convoluted Deep Neural Networks with Data Augmentation},
author = {Minjin Kim and Young-geun Kim and Dongha Kim and Yongdai Kim and Myunghee Cho Paik},
journal= {arXiv preprint arXiv:2012.02521},
year = {2020}
}