利用注意力机制与基于 CTC 的解码研究法语提示语音中手与唇的动态关系
计算与语言
2023-06-16 v1
摘要
听障或重度聋人使用提示语音（Cued Speech, CS）作为理解口语的沟通工具。通过提供与语音信息相关的提示，CS 提供了一种增强唇读的方法。文献中已有若干关于人类产生语境下手与唇之间动态关系的研究。本文提出了一种方法，借助注意力机制在执行识别任务时研究神经网络如何为单一说话人学习此关系。进一步，利用所学动态的分析来建立两种模态间的关系并提取自动分段。为此研究，我们录制了一个新的法语 CS 数据集。随该数据集发布，将报告词级识别的基准，这是法语 CS 自动识别中的一项创新。
引用
@article{arxiv.2306.08290,
title = {Investigating the dynamics of hand and lips in French Cued Speech using attention mechanisms and CTC-based decoding},
author = {Sanjana Sankar and Denis Beautemps and Frédéric Elisei and Olivier Perrotin and Thomas Hueber},
journal= {arXiv preprint arXiv:2306.08290},
year = {2023}
}