关于深度神经网络的决策边界
神经与进化计算
2019-01-03 v3 人工智能
机器学习
摘要
尽管深度学习模型和技术已取得巨大的经验性成功，但我们在许多方面对成功来源的理解仍然非常有限。为弥合这一差距，我们在对训练数据和模型均作弱假设的条件下，研究了一个生产级深度学习架构的决策边界。我们从理论和经验上证明，对于二分类情形和使用常用交叉熵损失的多分类情形，神经网络的最后权重层收敛于在最后隐藏层输出上训练的线性 SVM。此外，我们从经验上表明，将神经网络作为一个整体进行训练，而非仅微调最后权重层，可能会为最后权重层带来更好的偏置常数，这对于泛化十分重要。除了有助于理解深度学习外，我们的结果还有助于解决深度学习的广泛实际问题，如灾难性遗忘和对抗攻击。实验代码可在 https://github.com/lykaust15/NN_decision_boundary 获取。
引用
@article{arxiv.1808.05385,
title = {On the Decision Boundary of Deep Neural Networks},
author = {Yu Li and Lizhong Ding and Xin Gao},
journal= {arXiv preprint arXiv:1808.05385},
year = {2019}
}