ElectrodeNet——一种基于深度学习的 cochlear implant 声音编码策略
音频与语音处理
2023-05-29 v1 人工智能
信号处理
摘要
本文提出 ElectrodeNet，一种基于深度学习的 cochlear implant（CI，人工耳蜗）声音编码策略，旨在通过各类人工神经网络替代传统的包络检测，以模拟高级组合编码器（ACE）策略。扩展的 ElectrodeNet-CS 策略进一步引入了通道选择（CS）。使用 ACE 策略处理干净语音所获得的快速傅里叶变换频带与通道包络，训练了深度神经网络（DNN）、卷积神经网络（CNN）和长短期记忆（LSTM）网络模型。通过 CI 仿真，利用短时客观可懂度（STOI）和归一化协方差度量（NCM）对 ElectrodeNet 的客观语音理解进行了估计。针对经声码器处理的普通话语音，对正常听力听者进行了句子识别测试。基于 DNN、CNN 和 LSTM 的 ElectrodeNet 在使用均方误差（MSE）、线性相关系数（LCC）和斯皮尔曼秩相关系数（SRCC）的客观与主观评分上，与 ACE 表现出强相关性。ElectrodeNet-CS 策略能够利用改进的 DNN 网络嵌入最大值选择，生成与 N-of-M 兼容的电极模式，并在 STOI 和句子识别上取得与 ACE 相似甚至略高的平均值。这些方法和发现证明了在 CI 编码策略中使用深度学习的可行性与潜力。
引用
@article{arxiv.2305.16753,
title = {ElectrodeNet -- A Deep Learning Based Sound Coding Strategy for Cochlear Implants},
author = {Enoch Hsin-Ho Huang and Rong Chao and Yu Tsao and Chao-Min Wu},
journal= {arXiv preprint arXiv:2305.16753},
year = {2023}
}
备注
12 pages and 7 figures. Preprint version; IEEE Transactions on Cognitive and Developmental Systems (accepted)