权重无关神经网络
机器学习
2019-09-06 v2 神经与进化计算
机器学习
摘要
并非所有神经网络架构都生而平等，某些架构在特定任务上的表现远优于其他架构。但与架构相比，神经网络的权重参数有多重要？在这项工作中，我们质疑仅凭神经网络架构本身，在未学习任何权重参数的情况下，能在多大程度上编码给定任务的解决方案。我们提出了一种神经网络架构搜索方法，该方法找到的架构无需任何显式权重训练即可执行任务。为评估这些网络，我们用从均匀随机分布中采样的单一共享权重参数填充连接，并测量其预期性能。我们证明，该方法能够找到极简的神经网络架构，这些架构无需权重训练即可执行多个强化学习任务。在一个监督学习领域，我们找到了使用随机权重在 MNIST 数据集上实现远高于随机猜测准确率的网络架构。本文的交互式版本见 https://weightagnostic.github.io/
引用
@article{arxiv.1906.04358,
title = {Weight Agnostic Neural Networks},
author = {Adam Gaier and David Ha},
journal= {arXiv preprint arXiv:1906.04358},
year = {2019}
}
备注
To appear at NeurIPS 2019, selected for a spotlight presentation