利用归一化流进行语义扰动以提升泛化能力
机器学习
2021-08-19 v1 机器学习
摘要
数据增强是训练深度神经网络时广泛采用的避免过拟合的技术。然而，该方法需要特定领域知识，且常局限于一组固定的硬编码变换。近来，若干工作提出使用生成模型生成语义有意义的扰动以训练分类器。但由于精确的编码与解码至关重要，这些使用近似隐变量推断架构的方法仍局限于在小数据集上的初步研究。利用归一化流精确可逆的编码器-解码器结构，我们在隐空间执行流形上扰动以定义完全无监督的数据增强。我们证明此类扰动可与先进的数据增强技术性能相当——使用 ResNet-18 在 CIFAR-10 上达到 96.6% 测试准确率，并优于现有方法，尤其在低数据场景下——相比经典训练带来 10–25% 的测试准确率相对提升。我们发现，在训练过程中自适应于分类器的隐空间对抗扰动最为有效，首次在真实世界数据集——CIFAR-10/100——上通过隐空间扰动取得了测试准确率提升结果。
引用
@article{arxiv.2108.07958,
title = {Semantic Perturbations with Normalizing Flows for Improved Generalization},
author = {Oguz Kaan Yuksel and Sebastian U. Stich and Martin Jaggi and Tatjana Chavdarova},
journal= {arXiv preprint arXiv:2108.07958},
year = {2021}
}
备注
In Proceedings of the IEEE International Conference on Computer Vision