被动批次注入训练技术：通过注入不同数据分布的小批次提升网络性能
计算机视觉与模式识别
2020-06-09 v1 机器学习
摘要
本工作提出一种深度神经网络新颖训练技术，其利用来自不同于原始输入数据分布的其他数据。该技术旨在减少过拟合并提升网络泛化性能。我们提出的技术，即被动批次注入训练技术（PBITT），甚至能在已使用 正则化与批归一化等标准抗过拟合技术的网络中进一步降低过拟合程度，带来显著的准确率提升。被动批次注入训练技术（PBITT）在训练过程中引入少量包含不同于输入数据分布数据的被动小批次。该技术不增加最终模型的参数数量，也不增加推理（测试）时间，却仍提升深度 CNN 的性能。据我们所知，这是首项利用不同数据分布辅助卷积神经网络（CNNs）训练的工作。我们在标准架构 VGG、ResNet 和 WideResNet，以及若干流行数据集 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上充分评估所提方法。我们观察到使用所提技术后准确率的一致提升。我们还通过实验表明，经该技术训练的模型能很好泛化至其他任务，如采用 Faster R-CNN 在 MS-COCO 数据集上的目标检测。我们给出大量消融实验以验证所提方法。我们的方法在 CIFAR-100 数据集上将 VGG-16 的准确率显著提升 2.1%。
引用
@article{arxiv.2006.04406,
title = {Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution},
author = {Pravendra Singh and Pratik Mazumder and Vinay P. Namboodiri},
journal= {arXiv preprint arXiv:2006.04406},
year = {2020}
}
备注
Accepted in IJCNN 2020