用于深度神经网络中寻找平坦极小值的邻域平滑正则化
机器学习
2022-02-25 v2 机器学习
摘要
由于深度神经网络(DNNs)架构多样且存在严重的过参数化，正则化技术在巨大假设空间中寻找最优解至关重要。本文提出一种有效的正则化技术，称为邻域平滑(NRS)。NRS利用模型受益于收敛到平坦极小值的发现，并尝试对权重空间中的邻域进行正则化以产生近似输出。具体而言，邻域区域内模型输出之间的差距由基于Kullback-Leibler散度定义的度量来衡量。该度量在解释平坦极小值方面与最小描述长度原理提供了相似的见解。通过最小化该散度与经验损失，NRS能显式驱动优化器收敛到平坦极小值。我们在CIFAR和ImageNet等常用数据集上跨多种模型架构执行图像分类任务，证实了NRS的有效性，其泛化能力可得到普遍提升。此外，我们经验性地表明，与传统方法相比，NRS找到的极小值具有相对更小的Hessian特征值，这被视为平坦极小值的证据。
引用
@article{arxiv.2201.06064,
title = {Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks},
author = {Yang Zhao and Hao Zhang},
journal= {arXiv preprint arXiv:2201.06064},
year = {2022}
}