基于离散潜在表征的非侵入式双耳语音可懂度预测
声音
2022-03-23 v2 机器学习
音频与语音处理
摘要
从双耳信号进行非侵入式语音可懂度（SI）预测在许多应用中非常有用。然而，现有的大多数基于信号的度量都是为单通道信号设计的。专门设计用于考虑信号双耳特性的度量通常是侵入式的——其特点是需要访问纯净语音信号——并且通常依赖于在预测前将两个通道合并为单通道信号。本文提出了一种非侵入式SI度量，它使用矢量量化（VQ）和对比预测编码（CPC）方法的组合，从双耳输入信号中计算特征。VQ-CPC特征提取不依赖于任何听觉系统模型，而是通过训练来最大化输入信号与输出特征之间的互信息。计算出的VQ-CPC特征被输入到一个由神经网络参数化的预测函数中。本文考虑了两种预测函数。特征提取器和预测函数均在具有各向同性噪声的模拟双耳信号上进行训练。它们在具有各向同性和真实噪声的模拟信号上进行测试。对于所有信号，真实值得分是（侵入式的）确定性双耳STOI。结果以相关系数和均方误差（MSE）的形式呈现，并证明VQ-CPC特征能够捕获与建模SI相关的信息，且性能优于所有考虑的基准——即使在包含不同噪声场类型的数据上进行评估时也是如此。
引用
@article{arxiv.2111.12531,
title = {Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations},
author = {Alex F. McKinney and Benjamin Cauchi},
journal= {arXiv preprint arXiv:2111.12531},
year = {2022}
}
备注
4 pages + 1 refs; 1 figure; accepted at IEEE SPL (to appear)