老虎机网络：在神经网络中发现随机权重的获胜组合
机器学习
2021-06-09 v3 人工智能
摘要
与传统在连续空间中的权重优化不同，我们证明了存在从未更新权重的有效的随机网络。通过为每个独立连接在一组固定的随机值中选择一个权重，我们的方法揭示了与传统训练的同等容量网络性能相当的随机权重组合。我们将此类网络称为“老虎机（slot machines）”，其中每个转轮（连接）包含一组固定的符号（随机值）。我们的反向传播算法“转动”转轮以寻找“获胜”组合，即最小化给定损失的随机权重值选择。颇为令人惊讶的是，我们发现为每个连接仅分配少数随机值（如每连接 8 个值）即可产生极具竞争力的组合，尽管其相比传统学习的权重受到显著更多的约束。此外，对这些组合进行微调通常能改善训练基线模型的性能。一个每连接含 8 个值的随机初始化 VGG-19 包含一个在 CIFAR-10 上达到 91% 测试准确率的组合。我们的方法在仅含随机权重的神经网络上于 MNIST 也取得了 98.2% 的令人印象深刻的性能。
引用
@article{arxiv.2101.06475,
title = {Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks},
author = {Maxwell Mbabilla Aladago and Lorenzo Torresani},
journal= {arXiv preprint arXiv:2101.06475},
year = {2021}
}