利用Whisper与元数据对助听器进行非侵入式语音可懂度预测
音频与语音处理
2024-06-14 v2 机器学习
声音
摘要
自动语音可懂度评估对助听器（HA）开发至关重要。本文中，我们提出三种新方法以提升可懂度预测精度，并介绍MBI-Net+——MBI-Net的增强版本，即首届Clarity Prediction Challenge中性能最优的系统。MBI-Net+利用Whisper的嵌入生成跨域声学特征，并通过使用区分不同增强方法的分类器纳入语音信号元数据。此外，MBI-Net+将助听器语音感知指数（HASPI）作为补充度量整合进目标函数，以进一步提升预测性能。实验结果表明，在Clarity Prediction Challenge 2023数据集上，MBI-Net+超越了多个侵入式基线系统及MBI-Net，验证了引入Whisper嵌入、语音元数据及相关互补度量对改善HA预测性能的有效性。
引用
@article{arxiv.2309.09548,
title = {Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata},
author = {Ryandhimas E. Zezario and Fei Chen and Chiou-Shann Fuh and Hsin-Min Wang and Yu Tsao},
journal= {arXiv preprint arXiv:2309.09548},
year = {2024}
}
备注
Accepted to Interspeech 2024