基于 BERT 的联合多通道语音去混响及空间感知任务处理
音频与语音处理
2020-10-23 v2 计算与语言
机器学习
声音
摘要
我们提出了一种用于联合多通道语音去混响并附带两个空间感知任务的方法：波达方向(DOA)估计与语音分离。所提方法将相关任务视为序列到序列的映射问题，该问题对于各类前端语音增强任务具有足够的通用性。该方法受双向编码器表示来自变换器(bidirectional encoder representation from transformers, BERT)优异序列建模能力的启发。我们并非以自监督方式利用预训练得到的显式表示，而是以有监督方式利用变换器编码的隐层表示。变长话语的多通道谱幅值与谱相位信息均被编码。实验结果证明了所提方法的有效性。
引用
@article{arxiv.2010.10892,
title = {BERT for Joint Multichannel Speech Dereverberation with Spatial-aware Tasks},
author = {Yang Jiao},
journal= {arXiv preprint arXiv:2010.10892},
year = {2020}
}