通过块坐标下降法训练 0/1 深度神经网络
机器学习
2023-09-01 v2
摘要
阶跃函数是深度神经网络（DNN）最简单、最自然的激活函数之一。由于它对正变量计为 1，对其他变量计为 0，其固有特性（例如不连续性和无可行次梯度信息）阻碍了其几十年的发展。尽管已有大量工作致力于设计具有连续激活函数的 DNN，这些函数可被视为阶跃函数的替代品，但阶跃函数仍具有一些优势特性，例如对异常值的完全鲁棒性以及能够获得预测准确性的最佳学习理论保证。因此，在本文中，我们旨在训练使用阶跃函数作为激活函数的 DNN（称为 0/1 DNN）。我们首先将 0/1 DNN 重新表述为一个无约束优化问题，然后通过块坐标下降（BCD）方法求解。此外，我们获得了 BCD 子问题的闭式解及其收敛性质。此外，我们还将 正则化集成到 0/1 DNN 中，以加速训练过程并压缩网络规模。结果表明，所提出的算法在分类 MNIST、FashionMNIST、Cifar10 和 Cifar100 数据集上具有理想的性能。
引用
@article{arxiv.2206.09379,
title = {0/1 Deep Neural Networks via Block Coordinate Descent},
author = {Hui Zhang and Shenglong Zhou and Geoffrey Ye Li and Naihua Xiu},
journal= {arXiv preprint arXiv:2206.09379},
year = {2023}
}