基于直通梯度的高效端到端语音识别神经架构搜索
音频与语音处理
2020-11-12 v1 机器学习
摘要
神经架构搜索（NAS）是自动化架构工程的过程，是推进端到端自动语音识别（ASR）的诱人下一步，可用习得的任务特定架构替代专家设计的网络。与早期计算代价高昂的NAS方法不同，近期基于梯度的NAS方法（如DARTS（可微架构搜索）、SNAS（随机NAS）和ProxylessNAS）显著提升了NAS效率。本文做出两点贡献。第一，我们严谨地开发了通过直通（ST）梯度实现的高效NAS方法，称为ST-NAS。基本上，ST-NAS使用来自SNAS的损失，但利用ST将梯度反向传播通过离散变量以优化损失，而这点在ProxylessNAS中未揭示。利用ST梯度支持子图采样是超越DARTS和SNAS实现高效NAS的核心要素。第二，我们成功将ST-NAS应用于端到端ASR。在广泛基准化的80小时WSJ和300小时Switchboard数据集上的实验表明，ST-NAS生成的架构在这两个数据集上显著优于人工设计的架构。我们还报告了ST-NAS的优势，如架构可迁移性以及在内存与时间上的低计算成本。
引用
@article{arxiv.2011.05649,
title = {Efficient Neural Architecture Search for End-to-end Speech Recognition via Straight-Through Gradients},
author = {Huahuan Zheng and Keyu An and Zhijian Ou},
journal= {arXiv preprint arXiv:2011.05649},
year = {2020}
}
备注
Accepted by IEEE SLT 2021