逃离鞍点以实现类不平衡数据的有效泛化
机器学习
2022-12-29 v1 计算机视觉与模式识别
摘要
现实世界的数据集表现出不同类型和程度的不平衡。基于损失重加权和边界调整的数种技术常被用于提升神经网络尤其是少数类的性能。在本工作中，我们通过考察使用重加权和基于边界技术训练的神经网络损失景观来分析类不平衡学习问题。具体而言，我们考察了各类别损失 Hessian 的谱密度，借此观察到网络权重收敛于少数类损失景观中的鞍点。遵循该观察，我们还发现旨在逃离鞍点的优化方法可有效用于改善少数类的泛化。我们进一步从理论与实证上证明，近期鼓励收敛至平坦极小值的 Sharpness-Aware Minimization (SAM) 技术，可有效用于逃离少数类的鞍点。使用 SAM 相较 SOTA 的 Vector Scaling Loss 在少数类准确率上提升 6.2%，从而在各类不平衡数据集上带来平均 4% 的总体提升。代码见：https://github.com/val-iisc/Saddle-LongTail。
引用
@article{arxiv.2212.13827,
title = {Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data},
author = {Harsh Rangwani and Sumukh K Aithal and Mayank Mishra and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2212.13827},
year = {2022}
}
备注
NeurIPS 2022. Code: https://github.com/val-iisc/Saddle-LongTail