神经网络是否如同自适应提升那样从自平均子分类器中实现泛化？
机器学习
2023-02-15 v1
摘要
近年来，神经网络（NNs）在广泛领域中取得了巨大进展。由于其经验性成功难以解释，NNs 常被称为黑箱算法。我们的基础性研究旨在解释神经网络为何能够泛化。近期一项进展推导出一种互信息度量，通过一系列日益复杂的函数来解释深度 NNs 的性能。我们表明深度 NNs 学习了一系列提升分类器，其泛化性普遍归因于对越来越多插值子分类器的自平均。据我们所知，我们是首次建立提升分类器中泛化与深度 NNs 中泛化之间联系的作者。我们的实验证据与理论分析表明，使用 dropout 训练的 NNs 表现出与提升中后插值泛化现象流行解释所引用的相似的自平均行为，即 over 插值子分类器的自平均。
引用
@article{arxiv.2302.06923,
title = {Do Neural Networks Generalize from Self-Averaging Sub-classifiers in the Same Way As Adaptive Boosting?},
author = {Michael Sun and Peter Chatain},
journal= {arXiv preprint arXiv:2302.06923},
year = {2023}
}