权重增强：它从未让她的模型失望
机器学习
2024-05-31 v1
摘要
权重在深度学习网络模型中起着至关重要的作用。与网络结构设计不同，本文提出了权重增强的概念，专注于权重的探索。权重增强策略（WAS）的核心是采用随机变换的权重系数训练和变换后的系数，称为影子权重（SW），用于网络，可用来计算损失函数以影响参数更新。然而，随机梯度下降应用于普通权重（PW），即随机变换前网络的原始权重。在训练过程中，大量的SW共同形成高维空间，而PW直接从SW的分布中学习，而不是从数据中学习。精度导向模式（AOM）的权重依赖于PW，这保证了网络的高度鲁棒性和准确性。需求导向模式（DOM）的权重使用SW，它由网络模型基于WAT的性能需求（例如更低的计算复杂度、对特定数据更低的敏感性等）的独特功能决定。两种模式可在需要时随时切换。WAT将增强技术从数据增强扩展到权重，易于理解和实现，但可以惊人地改进几乎所有网络。我们的实验结果表明，卷积神经网络，如VGG-16、ResNet-18、ResNet-34、GoogleNet、MobileNetV2和EfficientNet-Lite，可以在很少或没有成本的情况下获得很大收益。在CIFAR100和CIFAR10数据集上，模型的准确率分别提高了7.32%和9.28%，最高值分别为13.42%和18.93%。此外，DOM可以将浮点运算次数（FLOPs）减少高达36.33%。代码可在https://github.com/zlearh/Weight-Augmentation-Technology获取。
引用
@article{arxiv.2405.19590,
title = {Weights Augmentation: it has never ever ever ever let her model down},
author = {Junbin Zhuang and Guiguang Din and Yunyi Yan},
journal= {arXiv preprint arXiv:2405.19590},
year = {2024}
}