总体梯度在数据集合架构上提升物体分类性能
机器学习
2020-10-26 v1 计算机视觉与模式识别
机器学习
摘要
最成功的方法如 ReLU 传递函数、批归一化、Xavier 初始化、dropout、学习率衰减或动态优化器，已因尤其能显著提升神经网络（NN）性能且几乎在所有情形下有效而成为领域标准。在此我们提出一种训练 NN 时计算梯度的新方法，并表明它在架构、数据集、超参数值、训练时长和模型规模上显著改善最终性能，包括当它与其他常见性能提升方法（如上述那些）结合时。除了在我们测试的大量情形中有效外，它提供的性能提升（如 F1）等于或高于我们所比较的所有其他广泛使用的性能提升方法。我们称我们的方法为总体梯度（PG），其在于使用 NN 总体来计算梯度的非局域估计，该估计比经验梯度（即用真实有限数据集获得的梯度）更接近误差函数的理论精确梯度（即仅可用无限大数据集获得的梯度）。
引用
@article{arxiv.2010.12260,
title = {Population Gradients improve performance across data-sets and architectures in object classification},
author = {Yurika Sakai and Andrey Kormilitzin and Qiang Liu and Alejo Nevado-Holgado},
journal= {arXiv preprint arXiv:2010.12260},
year = {2020}
}