关于《通过不一致性评估SGD的泛化能力》的注记
机器学习
2022-11-08 v2 人工智能
摘要
近期的若干工作经实证发现，深度神经网络的平均测试误差可通过模型的预测不一致性来估计，且无需标签。特别地，Jiang等人（2022）针对两个分别训练的网络之间的不一致性表明，这种“泛化不一致等式”源于深度集成在提出的“类聚合校准”概念下的良好校准特性。在本复现工作中，我们表明所提理论可能不切实际，因为深度集成的校准会随预测不一致性的增加而恶化，而这恰恰是对测试误差与不一致性耦合关系感兴趣的情景，同时在新数据集上估计校准需要标签。此外，我们简化了理论陈述与证明，在概率语境下显示其直截了当，不同于Jiang等人（2022）采用的原始假设空间视角。
引用
@article{arxiv.2202.01851,
title = {A Note on "Assessing Generalization of SGD via Disagreement"},
author = {Andreas Kirsch and Yarin Gal},
journal= {arXiv preprint arXiv:2202.01851},
year = {2022}
}