使用神经架构搜索改进的基于 Conformer 的端到端语音识别
音频与语音处理
2021-04-14 v2 声音
摘要
近来神经架构搜索（NAS）已成功用于图像分类、自然语言处理和自动语音识别（ASR）任务中，以发现比人工设计架构更优的当前最佳（SOTA）架构。NAS 可以通过搜索算法从预定义搜索空间中在验证数据上导出 SOTA 且数据特定的架构。受 NAS 在 ASR 任务中成功的启发，我们提出一个基于 NAS 的 ASR 框架，包含一个搜索空间和一个称为可微架构搜索（DARTS）的可微搜索算法。我们的搜索空间遵循卷积增强 transformer（Conformer）骨干，其比现有基于 NAS 的 ASR 框架中使用的架构更具表达力。为提升我们方法的性能，采用了一种称为动态搜索调度（DSS）的调节方法。在广泛使用的普通话基准 AISHELL-1 上，我们搜索出的最佳架构以约 11% 的 CER 相对提升显著优于基线 Conformer 模型，并且通过搜索代价比较证明我们的方非常高效。
引用
@article{arxiv.2104.05390,
title = {Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search},
author = {Yukun Liu and Ta Li and Pengyuan Zhang and Yonghong Yan},
journal= {arXiv preprint arXiv:2104.05390},
year = {2021}
}
备注
submitted to INTERSPEECH 2021