基于指针网络的端到端实时儿童阅读跟踪
音频与语音处理
2023-10-19 v1 人工智能
机器学习
摘要
在这项工作中，我们探索如何为儿童语音高效构建实时阅读跟踪器。先前提出的阅读跟踪器侧重于基于ASR的级联方法，我们提出了一种完全端到端模型，使其更不易出现语音跟踪滞后。我们采用指针网络，直接学习在给定流式语音条件下预测真实文本中的位置。为训练该指针网络，我们通过训练集上已读语音与所读文本之间的强制对齐生成真实训练信号。探索不同的强制对齐模型，我们发现基于神经注意力的模型在对齐精度上至少与Montreal Forced Aligner相当，但令人惊讶的是，它是更好的指针网络训练信号。我们的结果报告于一个成人语音数据（TIMIT）和两个儿童语音数据集（CMU Kids和Reading Races）。我们的最佳模型能以87.8%的准确率准确跟踪成人语音，并以77.1%的准确率跟踪更难且不流畅的儿童语音（CMU Kids数据），在Reading Races数据集上达到65.3%的准确率。
引用
@article{arxiv.2310.11486,
title = {End-to-End real time tracking of children's reading with pointer network},
author = {Vishal Sunder and Beulah Karrolla and Eric Fosler-Lussier},
journal= {arXiv preprint arXiv:2310.11486},
year = {2023}
}
备注
5 pages, 3 figures