WeNet：用于循环网络架构搜索的加权网络
神经与进化计算
2019-04-09 v1 机器学习
摘要
近年来，深度学习中自动架构搜索的需求日益增长。人们提出了大量方法，并在图像分类和语言建模等多种应用中取得了最先进的（state-of-the-art, SOTA）结果。在本文中，我们提出了一种通过加权网络（WeNet）进行架构搜索的新方法，加权网络由若干网络组成，每个网络被分配一个权重。这些权重通过反向传播更新，以反映不同网络的重要性。此类加权网络类似于专家混合（mixture of experts）。我们在 Penn Treebank 和 WikiText-2 上进行了实验。我们表明，所提出的 WeNet 能够找到产生最先进性能的循环架构。
引用
@article{arxiv.1904.03819,
title = {WeNet: Weighted Networks for Recurrent Network Architecture Search},
author = {Zhiheng Huang and Bing Xiang},
journal= {arXiv preprint arXiv:1904.03819},
year = {2019}
}