可迁移的习得架构在大规模语音识别上可超越手工设计架构
音频与语音处理
2021-05-11 v3 声音
摘要
本文中，我们探索用于自动语音识别（ASR）系统的神经架构搜索（NAS）。参考计算机视觉领域的先前工作，所搜索架构的可迁移性是我们工作的主要焦点。架构搜索在小型代理数据集上进行，然后以所搜索架构构建的评估网络在大型数据集上评估。特别地，我们提出了一种针对语音识别任务的改进搜索空间，其在理论上便于搜索算法探索低复杂度架构。大量实验表明：(i) 在小型代理数据集上搜索的架构可迁移到大型数据集用于语音识别任务。(ii) 在改进搜索空间中习得的架构可在性能轻微下降的情况下大幅减少计算开销与 GPU 内存占用。(iii) 与我们所知最佳的手工设计 DFSMN-SAN 架构相比，所搜索架构在 AISHELL-2 数据集和大型（10k 小时）数据集上分别取得超过 20% 和 15%（在四个测试集上平均）的相对提升。据我们所知，这是首个在大规模数据集（高达 10K 小时）上 NAS 结果的报告，表明了 NAS 在工业级 ASR 系统中的可观应用前景。
引用
@article{arxiv.2008.11589,
title = {Learned Transferable Architectures Can Surpass Hand-Designed Architectures for Large Scale Speech Recognition},
author = {Liqiang He and Dan Su and Dong Yu},
journal= {arXiv preprint arXiv:2008.11589},
year = {2021}
}
备注
Accepted to ICASSP 2021