G-TRACER：期望锐度优化
机器学习
2023-06-27 v1 机器学习
摘要
我们提出一种用于深度学习架构优化的新正则化方案G-TRACER（“几何TRACE比率”），它通过寻找平坦极小值来促进泛化，并且作为广义贝叶斯目标的自然梯度下降优化的近似具有坚实的理论基础。通过在损失函数中加入TRACER，曲率正则化优化器（如SGD-TRACER与Adam-TRACER）易于实现，仅需对现有优化器进行修改且无需大量调参。我们证明该方法收敛到未正则化目标局部极小值的一个邻域（取决于正则化强度），并在多个基准计算机视觉与NLP数据集上展示了具竞争力的性能，尤其关注挑战性的低信噪比问题。
引用
@article{arxiv.2306.13914,
title = {G-TRACER: Expected Sharpness Optimization},
author = {John Williams and Stephen Roberts},
journal= {arXiv preprint arXiv:2306.13914},
year = {2023}
}
备注
16 pages, 2 figures