Deep pNML：深度神经网络的可预测归一化极大似然
机器学习
2020-01-09 v2 机器学习
摘要
可预测归一化极大似然（pNML）方案近来被提出用于个体设定下的通用学习，其中训练样本和测试样本均为个体数据。通用学习的目标是与一个知晓数据值但被限制使用给定模型类中的学习器的“精灵”或参考学习器竞争。pNML 对任意可能值的未知标签最小化相关后悔值。此外，其极小极大后悔可作为针对特定训练与数据样本的可学习性的逐点度量。在本文中，我们考察了 pNML 及其关联的可学习性度量在深度神经网络（DNN）模型类上的表现。如所示，pNML 优于常用的经验风险最小化（ERM）方法，并对对抗攻击提供鲁棒性。结合其可学习性度量，它可以检测分布外测试样本、容忍带噪标签并作为 ERM 的置信度度量。最后，我们将 pNML 扩展为“双重通用”解，其为模型类选择提供通用性并生成与所有模型类中最佳者竞争的学习器。
引用
@article{arxiv.1904.12286,
title = {Deep pNML: Predictive Normalized Maximum Likelihood for Deep Neural Networks},
author = {Koby Bibas and Yaniv Fogel and Meir Feder},
journal= {arXiv preprint arXiv:1904.12286},
year = {2020}
}