基于态射的可变换骨干架构可微神经架构搜索
人工智能
2021-06-15 v1
摘要
本研究旨在使架构搜索过程对一次性或在线训练更具适应性。它扩展自现有的可微神经架构搜索研究，我们使骨干架构在训练过程中可变换而非固定。众所周知，可微神经架构搜索（DARTS）需要一个预定义的过参数化骨干架构，而其规模需手动确定。此外，DARTS骨干中未引入两个元素的阿达玛积，而该操作在LSTM和GRU循环网络单元中均存在。本研究引入了一种基于网络态射的可微神经架构搜索增长机制，使得单元结构能够在一次性训练中从小规模向大规模增长。在整合增长与原始剪枝过程时可应用两种模式。我们还实现了一种近期提出的用于循环神经网络的双输入骨干架构。初步实验结果表明，在包括多变量时间序列预测和语言建模在内的多种学习任务中，与其他基线架构（包括LSTM）相比，我们的方法与双输入骨干结构相当有效。另一方面，我们发现动态网络变换在提升可微架构搜索效率方面颇具前景。
引用
@article{arxiv.2106.07211,
title = {Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures},
author = {Renlong Jie and Junbin Gao},
journal= {arXiv preprint arXiv:2106.07211},
year = {2021}
}