基于语音识别的系统性能评估

随着服务行业增长，需要服务于来自社会各阶层的大量人群，基于语音的解决方案已成为中心。虽然自然语言语音接口是研究界的热门话题，但在实践中，基于菜单的语音解决方案蓬勃发展。通常，在基于菜单的语音解决方案中，当用户被系统提示时，需要从封闭词集中说话回应。一系列人类对IVR提示的语音响应导致一次事务的完成。如果语音解决方案能在系统提示时正确识别用户所有语音话语，则该事务被视为成功。评估语音解决方案性能的通常机制是通过将其投入实际使用进行广泛测试，然后通过分析成功事务的日志来评估性能。这种评估可能导致测试用户不满，特别是如果系统性能导致较低的事务完成率。为了避免这一点，在语音系统评估中采用绿野仙踪（Wizard of Oz）方法。总体而言，这类评估在时间和成本上都是昂贵的。在本文中，我们提出一种无需实际投入用户使用即可评估语音解决方案性能的方法。我们首先描述该方法，然后通过实验证明，这可用于在系统实际使用之前识别语音解决方案的性能瓶颈，从而节省评估时间和费用。