Gi与Pal分数:深度神经网络泛化统计量
机器学习
2021-06-11 v2
摘要
深度学习领域在回归、分类与控制等多种任务上拥有大量类人表现的经验证据。然而,尽管取得了这些成功,该领域仍缺乏强理论误差界以及衡量网络泛化与所学不变性的统一指标。在本工作中,我们引入两种新度量,即Gi-score与Pal-score,用以刻画深度神经网络的泛化能力。受衡量收入不平等的基尼系数与Palma比率启发,我们的统计量是对网络扰动不变性的稳健度量,可准确预测泛化差距,即训练集与测试集上准确率之差。
引用
@article{arxiv.2104.03469,
title = {Gi and Pal Scores: Deep Neural Network Generalization Statistics},
author = {Yair Schiff and Brian Quanz and Payel Das and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2104.03469},
year = {2021}
}
备注
Accepted to RobustML Workshop at ICLR 2021