通过不一致性评估 SGD 的泛化能力
机器学习
2022-05-17 v2 人工智能
机器学习
摘要
我们通过实验表明，深度网络的测试误差可以通过在同一训练集上以不同的随机梯度下降（SGD）运行训练相同架构，并测量两个网络在未见标签测试数据上的不一致率来估计。这建立在 Nakkiran & Bansal '20 的观察之上并是其更强版本，该观察要求第二次运行使用全新的训练集。我们进一步从理论表明，这一特殊现象源于 SGD 训练模型集成体的良好校准性质。该发现不仅提供了一种简单的经验度量，可直接利用无标签测试数据预测测试误差，还建立了泛化与校准之间的新概念联系。
引用
@article{arxiv.2106.13799,
title = {Assessing Generalization of SGD via Disagreement},
author = {Yiding Jiang and Vaishnavh Nagarajan and Christina Baek and J. Zico Kolter},
journal= {arXiv preprint arXiv:2106.13799},
year = {2022}
}