PatchUp：一种用于卷积神经网络的特征空间块级正则化技术
机器学习
2023-01-10 v2 机器学习
摘要
大容量深度学习模型在使用有限标注训练数据训练时，往往容易出现较大的泛化差距。近期一类解决此问题的方法通过混合一对（或多个）训练样本来构建新的训练样本。我们提出PatchUp，这是一种用于卷积神经网络（CNN）的隐状态块级正则化技术，作用于从随机样本对中选取的特征图的连续块上。我们的方法提高了CNN模型针对其他最先进混合方法中可能出现的流形入侵问题的鲁棒性。此外，由于我们在隐空间中混合连续特征块，而隐空间比输入空间具有更多维度，因此我们获得了更多样化的样本，用于在不同维度上进行训练。我们在CIFAR-10/100、SVHN、Tiny-ImageNet和ImageNet上使用ResNet架构（包括PreActResnet18/34、WRN-28-10、ResNet101/152模型）的实验表明，PatchUp的性能优于或等同于当前最先进的CNN正则化器。我们还证明，PatchUp能对变形样本提供更好的泛化能力，并对对抗攻击具有更强的鲁棒性。
引用
@article{arxiv.2006.07794,
title = {PatchUp: A Feature-Space Block-Level Regularization Technique for Convolutional Neural Networks},
author = {Mojtaba Faramarzi and Mohammad Amini and Akilesh Badrinaaraayanan and Vikas Verma and Sarath Chandar},
journal= {arXiv preprint arXiv:2006.07794},
year = {2023}
}
备注
AAAI - 2022