Darts-Conformer:面向端到端ASR的高效基于梯度的神经架构搜索
声音
2021-08-11 v2 音频与语音处理
摘要
神经架构搜索(NAS)已成功应用于图像分类和语言建模等任务,以寻找高效且高性能的网络架构。在ASR领域,尤其是端到端ASR中,相关研究仍处于起步阶段。本文致力于将NAS应用于最流行的手工设计模型Conformer,并提出一种高效的ASR模型搜索方法,该方法利用了可微分架构搜索(Darts)在降低计算开销方面的天然优势。我们将Darts变异器与Conformer模块融合以形成完整的搜索空间,并在其中自动发现一种称为Darts-Conformer cell的改进架构。在AISHELL-1数据集上的整个搜索过程仅耗费0.7 GPU天。通过堆叠搜索得到的cell替换Conformer编码器,我们得到了一个端到端ASR模型(命名为Darts-Conformner),在开源AISHELL-1数据集上比Conformer基线高出4.7%。此外,我们验证了在小数据集上搜索得到的架构向更大规模2千小时数据集的可迁移性。据我们所知,这是首次将基于梯度的架构搜索成功应用于基于注意力的编码器-解码器ASR模型。
引用
@article{arxiv.2104.02868,
title = {Darts-Conformer: Towards Efficient Gradient-Based Neural Architecture Search For End-to-End ASR},
author = {Xian Shi and Pan Zhou and Wei Chen and Lei Xie},
journal= {arXiv preprint arXiv:2104.02868},
year = {2021}
}
备注
Submitted to ASRU 2021