面向微小深度学习中的网络增强
计算机视觉与模式识别
2022-04-26 v2 人工智能
机器学习
摘要
我们提出网络增强（NetAug），一种用于提升微小神经网络性能的新训练方法。现有的正则化技术（例如数据增强、dropout）通过加入噪声克服过拟合，在大型神经网络上已取得很大成功。然而，我们发现这些技术会损害微小神经网络的性能。我们认为训练微小模型不同于大型模型：与其增强数据，不如增强模型，因为微小模型由于容量有限往往受制于欠拟合而非过拟合。为缓解此问题，NetAug 增强网络（反向 dropout）而非向数据集或网络中注入噪声。它将微小模型置于更大模型中，并鼓励其作为更大模型的子模型工作以获取额外监督，同时也作为独立模型发挥作用。在测试时，仅使用微小模型进行推理，不产生额外推理开销。我们在图像分类和目标检测上展示了 NetAug 的有效性。NetAug 持续提升微小模型的性能，在 ImageNet 上最高实现 2.2% 的准确率提升。在目标检测上，达到相同性能水平时，NetAug 在 Pascal VOC 上比基线少需 41% 的 MACs，在 COCO 上少需 38% 的 MACs。
引用
@article{arxiv.2110.08890,
title = {Network Augmentation for Tiny Deep Learning},
author = {Han Cai and Chuang Gan and Ji Lin and Song Han},
journal= {arXiv preprint arXiv:2110.08890},
year = {2022}
}
备注
ICLR 2022