利用扰动响应曲线预测深度神经网络泛化能力
机器学习
2021-10-28 v2 人工智能
摘要
深度学习领域充斥着在多种预测任务上达到类人性能的经验证据。然而,尽管取得这些成功,近期的NeurIPS 2020预测深度学习泛化(PGDL)竞赛表明,仍需要更鲁棒且高效的网络泛化度量。本文提出一种评估已训练网络泛化能力的新框架。我们使用扰动响应(PR)曲线来刻画给定网络准确率随训练样本扰动程度变化的函数关系。由这些PR曲线,我们导出刻画泛化能力的新统计量。具体而言,我们引入两种准确预测泛化差距的新度量:Gi-score与Pal-score,其受基尼系数与帕尔玛比率(收入不平等度量)启发,可准确预测泛化差距。将框架应用于类内与类间样本mixup,我们在PGDL竞赛多数任务上取得了优于当前SOTA度量的预测分数。此外,我们表明该框架及所提统计量可用于刻画已训练网络对给定参数化输入变换(如旋转或平移)的不变程度。因此,这些泛化差距预测统计量也为选取对特定扰动不变的最优网络架构与超参数提供了有用手段。
引用
@article{arxiv.2106.04765,
title = {Predicting Deep Neural Network Generalization with Perturbation Response Curves},
author = {Yair Schiff and Brian Quanz and Payel Das and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2106.04765},
year = {2021}
}
备注
NeurIPS 2021