深度学习中单位空间内扰动梯度更新
机器学习
2022-11-10 v2
摘要
在深度学习中，优化起着至关重要的作用。通过聚焦图像分类，本工作考察了广泛使用优化器的优劣，并提出一种新优化器：扰动单位梯度下降（PUGD）算法，其在张量内扩展带扰动的归一化梯度操作以在单位空间中更新。通过一组实验与分析，我们表明 PUGD 是局部有界更新，即逐时更新受控。另一方面，PUGD 能将模型推至平坦极小值，其中误差保持近似恒定，这不仅因为梯度归一化避免驻点的本性，也由于在单位球内扫描锐度。从一系列严谨实验看，PUGD 帮助模型在 Tiny ImageNet 上取得 SOTA 的 Top-1 准确率，并在 CIFAR-{10, 100} 上获得有竞争力的性能。我们在链接 https://github.com/hanktseng131415go/PUGD 开源代码。
引用
@article{arxiv.2110.00199,
title = {Perturbated Gradients Updating within Unit Space for Deep Learning},
author = {Ching-Hsun. Tseng and Liu-Hsueh. Cheng and Shin-Jye. Lee and Xiaojun Zeng},
journal= {arXiv preprint arXiv:2110.00199},
year = {2022}
}