基于超声的静默语音接口的3D卷积神经网络
声音
2021-04-26 v1 计算与语言
音频与语音处理
摘要
静默语音接口（SSI）旨在从发音运动的记录中重建语音信号，例如舌头的超声视频。目前，深度神经网络是该项任务最成功的技术。高效的解决方案需要不仅能够处理单幅图像、还能从视频帧序列中提取舌头运动信息的方法。一种方案是将长短期记忆网络（LSTM）等循环神经结构与2D卷积神经网络（CNN）结合使用。在此，我们试验了另一种方法，将CNN扩展为执行3D卷积，其中额外的维度对应时间。特别地，我们以分解形式应用空间和时间卷积，该形式近期在视频动作识别中已被证明非常成功。我们通过实验发现，我们的3D网络优于CNN+LSTM模型，表明3D CNN可能是SSI系统中CNN+LSTM网络的可行替代方案。
引用
@article{arxiv.2104.11532,
title = {3D Convolutional Neural Networks for Ultrasound-Based Silent Speech Interfaces},
author = {László Tóth and Amin Honarmandi Shandiz},
journal= {arXiv preprint arXiv:2104.11532},
year = {2021}
}
备注
10 pages, 2 tables , 3 figures