基于 Hoeffding 不等式与相对评估的深度学习置信维度
机器学习
2022-03-18 v1 机器学习
摘要
深度神经网络（DNNs）泛化能力的研究近来引起了广泛关注。然而，由于其复杂的架构和大量的参数，衡量特定 DNN 模型的泛化能力仍是一个开放性的挑战。在本文中，我们提出利用多个因素，基于一种新的置信维度（CD）概念来度量和排序 DNNs 的相对泛化能力。此外，我们在 CD 中提供了一个可行的框架，基于传统的 Vapnik-Chervonenk 维（VC 维）和 Hoeffding 不等式从理论上计算泛化的上界。在图像分类和目标检测上的实验结果表明，我们的 CD 能够反映不同 DNNs 的相对泛化能力。除全精度 DNNs 外，我们还分析了二值神经网络（BNNs）的泛化能力，其泛化能力仍是一个未解决的问题。我们的 CD 对所有任务上的全精度 DNNs 和 BNNs 都给出了连贯且可靠的度量和排序。
引用
@article{arxiv.2203.09082,
title = {Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation},
author = {Runqi Wang and Linlin Yang and Baochang Zhang and Wentao Zhu and David Doermann and Guodong Guo},
journal= {arXiv preprint arXiv:2203.09082},
year = {2022}
}