基于自动语音识别与众包的 mission-critical voice 实验设计
网络与互联网体系结构
2025-09-18 v1
摘要
mission-critical voice（MCV）通信系统已是公安社区工作八十余年的关键性工具。公安用户期望MCV系统在挑战性环境下能够可靠且一致地运行。基于此期望，国家标准技术研究院（NIST）公共安全通信研究（PSCR）部门致力于关联MCV通信系统的失效情况与公安用户质量体验（QoE）。以往研究在受控环境中研究MCV语音质量与可理解性，但受限于在仿真真实世界环境条件方面的挑战，亦存在反映QoE的准确度的疑问。本文描述了我们为开展人类主体实验而构建的方法论与工具。我们展示了这些工具在仿真真实世界环境中的人类主体实验的应用。该工具包括用于仿真真实世界MCV系统的测试平台，以及一个自动语音识别（ASR）机器人，模拟人类主体完成转录任务。我们通过基于Levenshtein距离的度量来评估QoE，认为其是衡量理解和QoE的合适代理指标。我们与Amazon MTurk的众包志愿者开展了人类主体研究，以了解所选系统参数与失效对人类主体性能与终端用户QoE的影响。我们还比较了多个ASR系统配置与人类主体性能。我们发现人类在涉及MCV任务的准确度方面通常优于ASR，并且编解码器对终端用户QoE和ASR性能具有显著影响。
引用
@article{arxiv.2509.13724,
title = {Conducting Mission-Critical Voice Experiments with Automated Speech Recognition and Crowdsourcing},
author = {Jan Janak and Kahlil Dozier and Lauren Berny and Liang Hu and Dan Rubenstein and Charles Jennings and Henning Schulzrinne},
journal= {arXiv preprint arXiv:2509.13724},
year = {2025}
}