典型皮层图神经网络及其在视听助听器语音增强中的应用
声音
2023-02-01 v3 计算机视觉与模式识别
音频与语音处理
摘要
尽管机器学习算法近期取得成功，但大多数模型在处理需要不同源之间交互的更复杂任务时面临缺陷，例如多模态输入数据与逻辑时间序列。另一方面，生物大脑在此方面高度敏锐，能够自动管理和整合此类信息流。在此背景下，本工作从脑皮层回路的最新发现中汲取灵感，提出一种更具生物合理性的自监督机器学习方法。该方法利用层内调制与典型相关分析结合多模态信息，并采用记忆机制追踪时序数据，整体方法称为典型皮层图神经网络。在基准视听语音数据集上，该方法在干净音频重建与能效方面优于近期最先进模型。增强的性能通过更稀疏和平缓的神经元放电率分布得以证明，表明所提模型适用于未来视听助听器设备中的语音增强。
引用
@article{arxiv.2206.02671,
title = {Canonical Cortical Graph Neural Networks and its Application for Speech Enhancement in Audio-Visual Hearing Aids},
author = {Leandro A. Passos and João Paulo Papa and Amir Hussain and Ahsan Adeel},
journal= {arXiv preprint arXiv:2206.02671},
year = {2023}
}