ITU-T P.808 建议书的开源实现与验证
音频与语音处理
2020-11-05 v1 声音
摘要
ITU-T P.808 建议书提供了一种利用绝对类别评分（ACR）方法进行语音质量主观评估的众包方法。我们提供了在 Amazon Mechanical Turk 平台上运行的 ITU-T P.808 建议书的开源实现。我们将实现扩展为包含退化类别评分（DCR）和比较类别评分（CCR）测试方法。与两阶段资格认证与评分方案相比，我们通过将参与者资格认证步骤整合到主评分任务中，显著加快了测试流程。我们提供了用于创建和执行主观测试以及数据清洗和分析答案以避免操作错误的程序脚本。为验证该实现，我们将通过我们的实现收集的 Mean Opinion Scores（MOS，平均意见得分）与基于 ITU-T P.800 建议书进行的标准实验室实验的 MOS 值进行比较。我们还使用我们的实现评估了通过众包进行主观语音质量评估结果的 reproducibility（可复现性）。最后，我们量化了系统中旨在提高可靠性部分的影响：环境测试、gold 与 trapping 问题、评分模式以及头戴式耳机使用测试。
引用
@article{arxiv.2005.08138,
title = {An Open source Implementation of ITU-T Recommendation P.808 with Validation},
author = {Babak Naderi and Ross Cutler},
journal= {arXiv preprint arXiv:2005.08138},
year = {2020}
}