基于超网络的增强
计算机视觉与模式识别
2021-10-08 v2 机器学习
摘要
数据增强是提高深度神经网络泛化能力的有效技术。近来，AutoAugment 提出了精心设计的搜索空间和数据驱动的自动寻找增强策略的搜索算法。然而，AutoAugment 计算开销大。本文提出一种高效的基于梯度的搜索算法，称为基于超网络的增强（Hypernetwork-Based Augmentation, HBA），它在单次训练中同时学习模型参数和增强超参数。我们的 HBA 使用超网络来近似基于种群的训练算法，使我们能够通过梯度下降调整增强超参数。此外，我们引入了一种权重共享策略，简化了超网络结构并加速了搜索算法。我们在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上进行了实验。结果表明，HBA 在搜索速度和准确率方面均与最先进方法具有竞争力。
引用
@article{arxiv.2006.06320,
title = {Hypernetwork-Based Augmentation},
author = {Chih-Yang Chen and Che-Han Chang},
journal= {arXiv preprint arXiv:2006.06320},
year = {2021}
}