OUIDecay：利用在线激活模式的自适应分层卷积神经网络权重衰减
机器学习
2026-05-12 v1
摘要
权重衰减仍然是训练卷积神经网络最广泛使用的正则化机制之一，但它通常仍被作为所有层在整个训练过程中共享的固定系数来应用。这种统一处理忽略了不同层可能遵循不同的结构动力学，因此可能需要不同的正则化强度。在本工作中，我们提出了 OUIDecay，一种由过拟合-欠拟合指示器（Overfitting-Underfitting Indicator, OUI）驱动的、适用于 CNN 的自适应分层且随时间变化的权重衰减调度器，其中 OUI 是一种先前已被证明能提供关于正则化质量早期信息的基于激活的指标。OUIDecay 使用轻量级的基于批次的 OUI 公式在线监控每层的结构行为，并周期性地相对于网络中的其他层重新调整其权重衰减。与基于梯度的自适应衰减方法不同，我们的方法依赖于从激活模式中提取的功能信息，且不需要验证数据。在 EfficientNet-B0 与 Stanford Cars、ResNet50 与 Food101、DenseNet121 与 CIFAR100 以及 MobileNetV2 与 CIFAR10 上的实验表明，OUIDecay 在 8 个评估设置中的 7 个取得了最佳的平均最佳验证损失。这些结果表明，激活驱动的权重衰减自适应是固定衰减和基于梯度的自适应衰减的一种实用且有效的替代方案，同时保持了方法的轻量级并适用于在线使用。
引用
@article{arxiv.2605.10161,
title = {OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns},
author = {Alberto Fernández-Hernández and Jose I. Mestre and Cristian Pérez-Corral and Manuel F. Dolz and Jose Duato and Enrique S. Quintana-Ortí},
journal= {arXiv preprint arXiv:2605.10161},
year = {2026}
}