基于突发传播的多模态语音增强
声音
2024-09-10 v3 机器学习
多媒体
音频与语音处理
摘要
本文提出 MBURST，一种新颖的视听语音增强多模态方案，其考虑了关于前额叶皮层及其他脑区锥体细胞的最新神经科学发现。所谓突发传播实现了若干准则，以更具生物学合理性的方式解决信用分配问题：通过反馈引导可塑性的符号与大小，通过不同权重连接跨层复用反馈与前馈信息，近似反馈与前馈连接，以及线性化反馈信号。MBURST 利用这些能力学习噪声信号与视觉刺激之间的相关性，从而通过放大相关信息并抑制噪声来赋予语音意义。在 Grid Corpus 与基于 CHiME3 的数据集上进行的实验表明，MBURST 能够重现与基于多模态反向传播基线相似的掩码重建，同时展现出卓越的能效管理，将神经元放电率降低至低达 \textbf{} 的值。这一特性意味着更可持续的实现，适用于且合乎助听器或任何其他类似嵌入式系统的需求。
引用
@article{arxiv.2209.03275,
title = {Multimodal Speech Enhancement Using Burst Propagation},
author = {Mohsin Raza and Leandro A. Passos and Ahmed Khubaib and Ahsan Adeel},
journal= {arXiv preprint arXiv:2209.03275},
year = {2024}
}