CrossASR++：一种用于自动语音识别的模块化差分测试框架
软件工程
2022-01-06 v2
摘要
开发者需要进行充分的测试以确保自动语音识别（ASR）系统的质量。然而，手动收集所需测试用例繁琐且耗时。我们近期的工作提出了 CrossASR，一种用于 ASR 系统的差分测试方法。该方法首先利用文本转语音（TTS）从文本自动生成音频，然后将这些音频输入不同的 ASR 系统进行交叉比对以发现失败测试用例。它还利用失败估计器更高效地寻找失败测试用例。此类方法具有内在的自我改进性：通过采用更先进的 TTS 与 ASR 系统可提升性能。因此在这篇配套的工具体验论文中，我们投入更多工程工作并提出 CrossASR++，一种易用的 ASR 测试工具，可便捷扩展以集成不同的 TTS 与 ASR 系统以及失败估计器。我们还使 CrossASR++ 能从给定语料动态分块文本，并使估计器以更有效灵活的方式工作。我们展示了新特性可帮助 CrossASR++ 发现更多失败测试用例。使用相同的 TTS 与 ASR 系统，CrossASR++ 能为 4 个 ASR 多发现 26.2% 的失败测试用例。此外，仅通过增加一个用于交叉比对的 ASR，我们可使 4 个 ASR 系统各自发现的失败测试用例数分别提升 25.07%、39.63%、20.9% 和 8.17%。我们还将 CrossASR++ 扩展了 5 个额外的失败估计器。与最差估计器相比，最佳估计器在相同时间内可多发现 10.41% 的失败测试用例。
引用
@article{arxiv.2105.14881,
title = {CrossASR++: A Modular Differential Testing Framework for Automatic Speech Recognition},
author = {Muhammad Hilmi Asyrofi and Zhou Yang and David Lo},
journal= {arXiv preprint arXiv:2105.14881},
year = {2022}
}
备注
Accepted to appear in the Demonstrations track of the ESEC/FSE 2021