形变损失曲面以影响优化器行为
机器学习
2020-09-18 v1 人工智能
计算机视觉与模式识别
摘要
在深度学习中，通常假设优化过程在形状固定的损失曲面上进行。不同的是，本文首次提出一种新颖的形变映射概念，以影响优化器的行为。垂直形变映射（VDM）作为形变映射的一种，能够使优化器进入平坦区域，这通常意味着更好的泛化性能。此外，我们设计了多种VDM，并进一步给出了它们对损失曲面的贡献。在定义局部M区域后，理论分析表明，形变损失曲面能够增强梯度下降优化器滤除尖锐极小值的能力。通过损失景观的可视化，我们在CIFAR-100上评估了原始优化器与经VDM增强的优化器所得极小值的平坦度。实验结果表明，VDM确实找到了更平坦的区域。此外，我们在ImageNet、CIFAR-10和CIFAR-100上将经VDM增强的流行卷积神经网络与相应的原始网络进行比较。结果令人惊讶：所有配备VDM的模型均有显著提升。例如，ResNet-20在CIFAR-100上的top-1测试准确率提升了1.46%，且额外计算开销可忽略不计。
引用
@article{arxiv.2009.08274,
title = {Deforming the Loss Surface to Affect the Behaviour of the Optimizer},
author = {Liangming Chen and Long Jin and Xiujuan Du and Shuai Li and Mei Liu},
journal= {arXiv preprint arXiv:2009.08274},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2007.12515